Предложу свое предположение на основе личного опыта, ибо у всех все по-разному, и свои разные причины.
Если человек мне, так скажем, не близко знакомый или незнакомый вовсе, и вижу я его впервые, то скорее всего взгляд я отводить не буду, а наоборот, буду смотреть в упор, следя за каждым движением и за возможной реакцией человека, особенно, если разговор не личного характера просто из симпатии, а по необходимости, например, с врачом или служащим в инстанции.
Если же разговор происходит с близким человеком, пусть и относительно - родственником, другом, соседом, просто знакомым-приятелем, но давно знакомым, и разговор этот довольно длительный, то я частенько начинаю смотреть по сторонам, куда угодно, потому что смотреть длительное время на один объект, пусть и собеседника, для меня довольно скучно и утомительно.
Также, мне кажется здесь срабатывает некий древний инстинкт, ибо разговор разговором, но нужно при этом не улетать в космос и не отрываться от реальности, а зорко следить за окружающей обстановкой: а вдруг нарисуется опасность и нужно будет срочно принимать меры?
Кстати, частенько очень важные разговоры, особенно в общественных местах, происходят не глядя друг на друга. И причина далеко не в желании что-то скрыть, хотя может быть и такое. Обмозговывая какую-то сложную ситуацию, тщательно взвешивая свои слова - это все делать гораздо легче несколько абстрагировавшись от своего собеседника, как бы уходя внутрь себя или же смотря на ситуацию как бы со стороны.
Вообще, я сама не люблю такие разговоры - нос к носу и глаз в глаз - очень часто они бывают неискренни и непродуктивны. Обычно после такого "плотного" разговора, собеседник оставшись один, лучше все обдумывает и меняет свое решение, причем в одностороннем порядке.