Желтый цвет очень прочно ассоциируется с понятием измены. Не знаю, откуда это пошло, но в массах стереотип сидит крепко.
Я сталкивалась с тем, что подаренные желтые розы вызывали почти панику, а также с полным избеганием всего желтого именно по этой причине.
Возможно и у вас корни проблемы растут именно из этого же. Можно пройтись по жизненным ситуациям и поискать связи, потому что у активного неприятия такой нейтральной вещи, как цвет, причины должны быть.
Символизм желтого цвета, конечно, более широк. Но самым главным и известным его значением является богатство и деньги. Сильно сомневаюсь, что именно этот аспект мог бы вызвать протест и негативное отношение.
Еще возможно закрепление неприятия желтого, если он участвовал при какой-либо травмирующей ситуации в жизни, например, человек, от которого исходила неприятность, был одет в желтое, что-то из обстановки было крупным и желтым.