Ну смотря какие отношения, и смотря насколько для мужчины, важен именно секс, в частности с вами.
С женщиной можно и дружить, конечно многие вообще отказываются в это верить, но такое возможно в принципе, так как каждый мужчина, не может априори, хотеть каждую женщину на этой планете, в то время, как разделять ее взгляды может, что и порой приводит к относительно или даже крайне успешному платоническому союзу. Тоже кстати касается и женщины, только наоборот.
Что касается конкретного мужчину, которого как я понял вы имеете, то скорее всего, у него есть к вам, именно сексуальная привязка и многое строится на физике и инстинктивных пристрастиях. При этом, ему может казаться, что в ваших взаимоотношениях, чего то не хватает вам, а от того вы беситесь.
Вторым вариантом, может быть и тот, когда он понимает, что чего то не хватает и ему, просто он об этом молчит или даже говорит, но не получает.