Вероятно, просто потому, что они ненадежные - нельзя на них положиться.
К примеру, думает женщина, что вот этот мужчина - идеальный муж, а он ей в браке все свои неприятные для неё черты характера и особенности поведения демонстрирует.
Или думает кто, что другой человек ну просто идеальный друг/ подруга - а тут бац! и выясняется, что у другого оказываются свои интересы ближе к телу, а не потребности клеящего стикер "идеальный".
Или мечты об идеальном ребёнке разбиваются о рождение малыша с особыми потребностями.
Поход в гости к идеальной хозяйке заканчивается открытием наличия в доме унитаза с пятнышком или трещинкой.
Подруга дочери, которую мать вечно приводит в качестве примера для подражания, вдруг становится матерью-одиночкой - и приходится менять мнение.
А может, всё дело в том, что их, идеальных, на самом деле не существует - и это и есть самый раздражающее их свойство.