Может быть у вас там какая-то своя ситуация, вы же не описали (работа, дом?), но я хочу рассказать один (именно один) такой случай из личного опыта.
Было у меня такое один раз. На работе. Очень раздражала одна девушка, абсолютно непонятно чем. И как человек она нормальная была (обычная девушка), и по работе ни разу не ссорились, и внешность самая обычная. Всё у неё было нормально по тем показателям о которых можно сказать, вот она меня тем-то раздражает. Ничего такого не было. А она меня раздражала. Когда я её видела, то мне не хотелось в этой комнате находиться. Когда она поближе подходила, то вообще хотелось куда-нибудь уйти. При всём при этом она ко мне нормально относилась, не подозревала о моём отношении, я же никак это не демонстрировала. Всё только внутри.
Хорошо, что она долго не задержалась на этой работе, нашла себе другое место, уволилась.
И я так и не знаю - что это было? И кстати, иногда её вижу, мы живём в одном районе города. Она меня до сих пор раздражает. И она до сих пор это не знает. Здоровается со мной, и я здороваюсь, но стараюсь от разговоров уходить, не хочу раздражаться.