Может это только ваши предположения и мысли. Просто если он на прямую вам сказал бы - я буду жить с тобой, но думать буду о другой, ты согласна? Вряд ли бы вы на это пошли. Значит он такого не говорил, а это просто крутится в вашей голове, это ваши мысли и сомнения. Мужчину вообще сложно удержать, если он действительно хочет уйти и если он с вами, значит он видит в этом плюсы и вы ему нужны. Мужчины могут иногда и сказать о том, что да я уйду от тебя к другой, но в большей степени это говориться, что бы подстегнуть женщину, обидеть ее, задеть ее, Когда человек действительно хочет уйти он старается сделать это как можно тише, что бы никто не заметил.
А разные выяснения отношений и втягивание третьих лиц, все только для того чтобы показать свои претензии, свое недовольство, дать понять женщине, что что-то идет не так, что есть претензии. Просто подача неправильная, нужно говорить о своих чувствах, тогда и проблем не будет.
В ситуации, которую вы описываете скорее всего идет просто недопонимание и ваше накручивание себя. Уделите себе больше времени, абстрагируйтесь немного от этой ситуации, полюбите себя, будьте счастливы (мужчины любят счастливых и позитивных). И в ближайшее время ситуация наладится, возможно вы и сами не захотите с ним быть).