Достаточно посмотреть на синонимы слова, чтобы выявить все оттенки смысла интересующего нас слова. Так вот, синонимами к слову «полудурок» выступают следующие слова: дурак, дуралей, пустоголов, дурак дураком, полудурье, дурачок, дурачина, дурила, дурень, дурачьё, придурковатый человек, глупец, глупыш, болван и др. Как видим, никаких признаков ума в этих синонимах не обозначено.
А теперь обратимся к более интересному слову «полоумный», а также «полуумный», «палаумный" - слово, обнаруженное замечательным лингвистом А.А.Шахматовым в русских памятниках XV в. (напр., «палаумные людища»). И это вовсе не безграмотность русских писцов. Этимологами было высказано мнение, что в нём отражается соответствующее греческое слово παλαβώμενος, в русском "пала-(в)-умен", т.е. обладание качеством, несовместимым по смыслу с высокоумием. Затем появились и варианты употребления и толкования слова "палоумный" как обозначение палого, низкого ума (малоумный, слабоумный, безумный), а затем и «полуумный» > «полоумный» с возможными вариантами смысла «половина ума" или "полый ум»).
А теперь посмотрим синонимы слова «полоумный»: безрассудный, слабоумный, безумный (безумец), сумасбродный, тронутый умом, ум за разум зашел, винтиков не хватает, не в своем уме, не все дома, тронутый в уме, тронутый мозгами, умалишенный и др. Во всех значениях этих слов и словосочетаний присутствует негативная оценка качества ума .
Таким образом, сравнивая, чем "полоумный" отличается от "полудурка", можно сделать вывод, что всё зависит от аспекта нашей оценки конкретного человека. Хотя оба слова синонимичны, но называя человека полоумным, мы рассматриваем его с точки зрения пусть ущербного, но всё-таки ума, а называя его полудурком, мы считаем его в этом отношении более безнадёжным, совсем уж тупым.