Нет здесь прямой связи...
Облик мужчины и обращение к нему не связаны между собой непосредственно.
При этом, тесную связь между собой имеют "мужские комплексы" и слова, вызывающие ассоциацию с такими комплексами.
"Пупсик", "малыш" могут быть неприятны, как "миниатюрным" мужчинам, так и настоящим "громилам"...
Достаточно, чтобы в его опыте был период жизни, когда такие выражения использовались по отношению к нему в шутливой, либо "пренебрежительной" форме...
Здесь просматривается простой механизм: получается, над ним смеются... Разве он это заслужил от близкого человека?
Как правило, если у человека нет комплексов по отношению к собственной внешности и т.д., то такие "выражения" он воспринимает, как минимум, спокойно и нормально...
Рост, вес, комплекция в таком вопросе не имеют существенного значения...
А, вот, детство, юность, восприятие себя могут играть определенную роль...
Любите, уважаете человека?
Будьте уважительны к его эмоциям!
Можно воздерживаться от выражений, которые не вызывают у человека положительных эмоций.
Если же человеку нравится определенное обращение, то, можете его использовать в общении чаще.