Я тоже не пальцем деланный!) и поэтому вот чего знаю об этом -
На этот счет, есть такое мнение (читал в одной из документальных книжек по истории СССР) При Сталине, а как ни странно он был очень верующим человеком, хотя и скрывал это, существовал 13 отдел, занимающийся борьбой с ведьмами и колдунами. Ну и тогда же было поверье что ведьмы, живущие по одиночке, и желающие продолжить свой род и свое дело, всяческими путями опаивали мужчин, и после того как они были в беспамятстве, производили фрикции с их эрегированным членом, и после семяизвержения, помогали сперме попасть в себя с помощью пальца.
Так вот, у членов этого 13 отдела, было мнение что дети родившиеся от такого зачатия, являются ведьмиными отродьями и последователями, и имеют явный признак - уродства - обычно они были хромыми. К стати, на счет уродства потомства зачатого таким путем, не все так абсурдно...
Именно по хромате они их пытались распознавать, как ущербных.
Поэтому и до сих пор "пальцем деланный" сегодня так называть человека имеющего недостатки, как физические так умственные. И напротив, выражение "Не пальцем деланный" подчеркивает в индивидууме качества полноценного человека.