Во-первых, обязательно поговорите об этом со своим мужем. Брат-то его. Объясните, почему Вы его опасаетесь, чем он неприятен или опасен для Вас. И скажите о том, что он наносит, как назло, визиты, когда мужа нет дома.
Мне кажется, что муж не должен бы просто взять и отнекнуться. Он разъяснит ситуацию и посоветует, что нужно делать.
Если муж скажет что-то вроде такого: "не бойся его, он ничего плохого тебе не сделает", то скажете в ответ: "позвони ему и попроси, чтобы он приходил только при тебе; жена опасается, что придёт кто-то ещё, она уже не раз попадала в такие истории, поэтому теперь никому дверь не открывает, когда находится одна с ребёнком; пойми, что это материнский инстинкт, не травмируй женщину".
После этого вы можете не открывать дверь. Брат будет проинформирован, почему такое происходит.