Думаю, такое тоже возможно.
Хотя мы привыкли шаблонно мыслить, что мужчины всегда "готовы", если женщина им нравится и если она не против.
Бывают такие мужчины, для которых любовь к жене, допустим, и верность ей пересиливает страсть, возникшую к другой. Я сама такое наблюдала, и не раз. Правда, не знаю, безумно ли женщина в каждом случае нравилась, но то что нравилась, это точно. Мужчины в данном случае сдерживались, хоть и были совсем близко от "падения". Возможно, так складывались обстоятельства, и в других условиях они бы не устояли, все может быть.
Но если речь о, действительно, безумной страсти, и ничто казалось бы, не мешает, то причиной отказа может быть только одно - неуверенность в своих "мужских" силах, страх разочаровать женщину. Это пострашнее отказа от близости. Мужчина может не пережить, если увидит, что женщина разочарована или жалеет его.
Еще вариант - он не хочет портить ей жизнь, понимает, что не сможет дать ей то, на что она может рассчитывать в дальнейшем (семья, брак, благосостояние).
Но все зависит от конкретных людей, я полагаю. Как говорят специалисты, нужно разбираться предметно.