Слово дом -- многозначное слово, поэтому и фразеологических оборотов в разных значениях довольно много.
Есть устаревшее название больницы для душевнобольных -- жёлтый дом.
В просторечии такую больницу часто называют просто сумасшедший дом.
А вот в некоторых романах (да, по-видимому, в некоторых странах и сейчас есть) встречаются заведения,
где проживают принимающие за деньги посетителей проститутки; они характеризуются фразеологизмами публичный дом или дом терпимости (устаревшее название).
От неприятных перейдем к более нормальным с существительным дом.
1) Как у себя дома -- так обычно говорят гостям, тем самым предлагая чувствовать себя без всякого стеснения, непосредственно, легко, свободно.
2) Жить одним домом -- жить каким-либо людям, семьям (часто родственникам) вместе, одной семьей,
вести общее хозяйство, все домашние дела.
3) Отбиваться от дома -- когда же интерес к дому, где живет человек, пропадает, ничего им для дома не делается, иногда бывает, что он редко приходит в свой общий дом и даже покидает его, вот тогда и употребляют этот фразеологизм.
4) Отказывать от дома или закрывать двери дома -- по каким-то причинам рассердившись на ранее посещавшего ваш дом человека, перестаете приглашать его в гости, более того, прекращаете его принимать у себя.
5) Не все дома -- а так говорят очень часто о человеке со странностями или просто ненормальном, придурковатым.