Поскольку вопросы типа "Все ли у тебя дома, милый мой?" не связан с тем, кто присутствует у кого-то дома, а кто отсутствует, то мы прекрасно понимаем, что разговор о другом. Собеседник, по всей видимости, очень сомневается в наших умственных способностях, поэтому и спрашивает образно о "не все дома".
Ответила бы я, например, так:
"Явно все и всегда. А у тебя с этим как дела обстоят?".
"Именно все. А ты, как я вижу, этим похвастаться не можешь?".
"Ты захотел ко мне в гости? Но я тебя пока не приглашала".
"Нет, у меня все на работе".
"Да где уж нам до вас, у нас все давно в отъезде".
"Нет, все в гостях".
"Ушли к соседям и не вернулись, а что?".
"Нет, Мурзик сбежал вчера".