Изречение это очень старое. В старину горох действительно "молотили", чтобы достать горошины из стручка. Накладывали высохшие стручки (только такие и хранились долго) в какую-нибудь тару или просто на доску, и били сверху цепями или молотками, потом просеивали и чистые горошины убирали. Но на доске оставались вмятины от жестких, как камень, горошин.
Примерно так и выглядит кожа человека, переболевшего оспой. Тело прикрыто одеждой, а лицо не прикроешь, шрамы, рубцы, воспаления остаются на виду.
Сейчас черную оспу победили, даже уже младенцам в роддомах уже прививки от неё не ставят, хотя ещё недавно ставили.
Но и сейчас многие люди страдают от различных дефектов на лице, как угри, прыщи, фурункулы, последствия ожогов или от выстрела дробью. Сейчас уже научились лечить лазером, шлифовкой, пересадкой кожи, лекарствами и мазями, но не всегда успешно, поэтому такая фраза, как "У вас на лице черти горох молотили" в адрес человека, с проблемной кожей всегда вызывает обиду с его стороны.