Если вы его спросили, а он при этом молчит, то значит он, как и любой человек, молчит, анализирует и при этом, конечно же думает, что вам ответить.
Да, безусловно, возможно он думает о том, как ответить таким образом, что бы вас не обидеть. Правда, происходит это как правило, между людьми, которые между собой не знакомы или знакомы слабо. Что же касается мужа и жены, то тут как правило происходит на автоматизме и открыто, так как оба человека, определенно, к друг другу привыкли.
Поэтому будьте спокойны, так как если бы вашему супругу, было что сказать, прям очень негативное на ваш счет, то он бы непременно это сделал, а так, видимо ваша внешность, его серьезным образом, озадачила.