Мой ответ, по традиции, пойдет в разрез с общественным мнением. Мужчина хочет забрать ребенка у матери не потому, что собирался с ним возиться, или очень хотел возиться, а потому, что у отца (и мачехи) ребенку объективно лучше, в самой приземленной градации - сытнее, чище, теплее, чем у матери, которая будет сюсюкать, но ходить ребенок будет с голой попой, и голодный.
При этом, сама мать считает себя идеальной заботливой хозяйкой. Но больше так никто не думает - ни ее друзья, ни знакомые, ни соседи, ни родственники.
Просто папа из двух зол выбирает меньшее - лучше ребенком никто не будет заниматься, но он будет сыт и одет, чем им все равно никто не будет заниматься, но ребенок будет мерзлый, голодный, и еще алименты непонятно куда деваются.
Это банальная вторая сторона медали, применимо к вопросу.