Есть несколько причин:
Вообще то это ненормально психически постоянно пялиться в глаза друг другу играя в гляделки, где выигрывает не тот кто прав, а тот кто наглее и у кого прозошло атрофирования нормальной функции слезовыделения в ходе движения века, а орган человеческого зрения превратился в своего рода "рыбий глаз".
Нормально если человек смотрит в глаза другому достаточно в редкие моменты, когда требуется прямой ответ на принципиальный вопрос, когда даётся важное обещание или высказываются серьёзные претензии. Но эти случаи достаточно редкие.
А так вообще прямой остановившийся на тебе взгляд незнакомца чаще всего вызывает вопрос, раздражение, а вредких случаях и прямой конфликт. С разборками типа "Чего уставился?".
Бывает, что у человека взгляд какой то неприятный, пронзительный, раздражающий, или даже внушающий. Тут тоже как то люди остерегаются встречаться с таким глазами.
Ну и естественно отводят и вообще даже не пытаются смотреть в глаза и опускают голову достаточно порядочные люди совершившие обман, подлость, глупость и чувствующие свою вину. Для человека же наглого и беспринципного в подобном случае особого труда не составит сыграть в гляделки. Да ещё и победить.