А чем раздражает?
Это важно.
Раздражение - самая слабая форма гнева.
Но это все-таки гнев.
А он возникает, когда задеты существенные потребности.
После ответа на этот вопрос "по какой именно причине гнев в такой ситуации" можно уже искать конкретные решения.
Ну например, эта женщина не привыкла к командной работе. Решение будет одно.
Или этот коллега что-то делает/говорит не так - другое.
Или этот коллега напоминает женщине её собственную мать, с которой натянутые отношения - вообще третье.
И таких вариантов может быть десятки, если не сотни!
Так что ничего однозначно сказать нельзя, нужно выяснить причину, любой мало мальски грамотный психолог при помощи наводящих вопросов найдет эту причину за один сеанс...
Разумеется, уходить с хорошей работы в такой ситуации - глупость. Одно дело - конкретные непреодолимые разногласия, мешающие заработкам и делу, и совсем другое - "раздражает как человек" - это уже явно что-то личное, и такое можно скорректировать в себе, научиться воспринимать таких людей без гнева, а спокойно и легко.