В такой ситуации лучше всего проконсультироваться с юристом или специалистом по семейному праву. Полностью забрать законными способами, конечно, ребенка отцу у матери сложно, суды исходят из интересов ребенка, а не кого-то из родителей. Ну разве что муж ваш очень богат.
И, нужно знать: 1. записан ли гражданский муж отцом ребенка официально или нет, в свидетельстве о рождениии 2. какие именно условия сможете обеспечить ребенку вы лично, и какие сможет муж. Сколько лет ребенку, если до 2-3 лет и ребенок на ГВ, то ни каком "забрать" и речи быть не может в любом случае. Вообще, о "забирании ребенка" у матери может идти речь только если она несоциализирована, имеет какие-то пороки, вроде наркомания, алкоголизм. Во всех остальных ситуациях матери можно не беспокоиться. Если гражданский муж не записан отцом, то и вовсе говорить не о чем. По закону он никто и не имеет никаких прав.
Все эти детали не указаны в вашем вопросе, потому четкий ответ, как оно будет, дать невозможно.
Но, судя по тому, что муж озвучивает угрозы "забрать", он надеется на вас подействовать словами. Как правило, мужчины, которые действительно способны обратиться в суд и отсудить ребенка у матери, не тратят время на болтовню, а сразу же идут к своему адвокату и разговаривают с ним.
П. С. Непонятно мне и то, зачем вы мужу говорите, что уйдете от него. Это что, специально, чтобы позлить его? Или вы всё ещё надеетесь такими угрозами на него подействовать? Вообще-то подобные методы добиться своего мало кому приносят успех...Хотите уйти, уходите, а если не уходите, значит, не дразните гусей. Муж ведь действительно может попортить вам немало крови, не через суд, а просто так. И не только вам, а и вашему ребенку. Зачем вам это надо? В ваших интересах постараться решить все вопросы мирно и с максимальной пользой для всех, особенно для ребенка.