Если вы только в гости к нему изредка приходить хотите, то почему называете его мужем?
Чем он отличается от других посторонних мужчин, с которыми вы иногда "для здоровья", как сейчас говорят, будете встречаться?
Всё-таки слово "муж", оно употребляется по отношению к мужчине при определённом уровне отношений, гораздо более близких, чем "иногда в гости" приходить.
Другое дело, что вы считаете себя мужем и женой, пусть без официальной регистрации, и у вас, у каждого есть своя жилплощадь.
Тут встаёт чисто практический вопрос. Стоит ли объединять, стоит ли одну квартиру продать и жить вместе в другой, чью продавать, или сдавать?
Но, это чисто коммерческие вопросы. А их нужно решать только с человеком, которому доверяете полностью.
Судя по тому, что вы ходите в гости, то доверия нет пока. Возможно этот человек, которого вы уже мужем называете, даже и не помышляет им быть. Подумайте серьёзно над этим. Женщины часто желаемое за действительное принимают.