Потому что не выдерживают. Оказываются малодушными.
В семьях с "особенными" детьми, вся жизнь, так или иначе, строится вокруг такого ребенка.
У женщины, в этой семье, не остаётся ни сил, ни времени на супруга.
Играет роль, так же, тот фактор, что в отличие от женщины, чья любовь к своему ребенку является безусловной, у мужчин, это обстоит немного по другому. Он желает гордиться своим ребенком и его достижениями, а не стыдиться его. Чувствуя сочувственные взгляды окружающих, мужчины этого не выдерживают.
Поэтому, и уходят из семьи, строят другие отношения с другими женщинами, у них появляются другие дети.
Не все, конечно, мужчины ведут себя так, но многие.