Я сама в какой-то мере анимешница, поэтому могу легко судить о данном вопросе.
Вообще так происходит далеко не всегда. Есть три варианта поведения людей, узнающих, что Вы анимешник: кто-то действительно Вас не поймёт и отнесется отрицательно, кто-то отнесётся нейтрально, а кто-то может оказаться Вашим единомышленником.
Если Вы не носите ничего, что выдавало бы в Вас принадлежность к рядам фанатов аниме, то знать это могут лишь те, кто с Вами общался и с кем Вы затрагивали данную тему. Поэтому вероятность отрицательного отношения к Вам людей снижается. Если Вы носите что-либо, показывающее, что Вы анимешник, Вы в какой-то мере демонстрируете это и должны быть готовы к различной реакции окружающих: к раздражению, насмешкам, непониманию, равнодушию, удивлению, радости от встречи единомышленника.
Я носила вещи, символизирующие мои любимые аниме. Иногда на меня оглядывались, пару раз крикнули в след "Анимешница!", несколько раз со мной заговаривали незнакомые люди, которые тоже любят аниме. Но вообще с открытой неприязнью к себе и своим увлечениям я практически не сталкивалась. С непониманием - да. Но не с враждебностью.
Мои лучшие друзья относятся к аниме или хорошо, или нейтрально. Со знакомыми и товарищами я не раз говорила на эту тему и объясняла, что именно за вещи я ношу, как они относятся к аниме и почему я этим увлекаюсь. Кому интересно, меня всегда слушали.
А относительно Вашего вопроса я скажу так: анимешники многими воспринимаются как некая субкультура, вроде эмо, готов или хиппи. Ничего плохого о них не хочу сказать, но многие люди напряженно относятся к представителям субкультур вообще. При чём им вовсе не обязательно много знать о данной субкультуре. Может быть достаточно простых стереотипов. Большую роль играет и то, что если Вы показываете свою принадлежность к анимешникам, Вы выделяетесь. Атрибутами одежды, внешностью, поведением, речью. Вы выделяетесь, Вы не такой, как окружающие, Вы непонятный и чужой. Значит, и отношение к Вам будет, как к чужому.
Чтобы не любить кого-то, в том числе анимешников, много ума не надо. А вот попытаться постичь то, что тебе непонятно, гораздо сложнее. Ведь проще скрыться за банальными стереотипными насмешками вроде "китайских порнографических мультиков" и обругать человека за то, что он говорит вещи, о которых ты не имеешь ни малейшего представления.