Дело в том, что отцовский инстинкт не появляется так, как материнский. У женщины все начинается еще во время беременности, вы с ним связаны физически. Тут дело сложней.
Не нужно упреков, успокойтесь, не нагнетайте. Если он будет видеть вас в истерике делу не поможешь. Старайтесь, что бы они проводили время вместе. Примените хитрость. Бабушку в магазин отправьте, срочно, а его попросите посидеть пока вы в туалет сходит, например. Им нужно взаимодействовать. Обратите внимание на то, что мальчику нужно общение с отцом даже в таком возрасте, покажите ему нужность и значимость его как отца. Может у вас есть друзья, где есть ребенок, но там ситуация с отцовством лучше? Пригласите их в гости, пусть посмотрит, пусть видит пример.
Все же он о вас заботиться, не бросает, а это уже хорошо.
Если и уезжать, то не к родителям (туда он будет приезжать еще реже), а на нейтральную сторону и просить его перебираться к вам. Первое время просто просить помощи, если ехать не захочет.
Вот здесь очень хорошая статья.