У любого человека есть зона личного пространства, в которую он впускает только очень близких людей (яркий пример: поцелуй влюблённых).
И, если в эту зону лезет чужой, то человек чувствует себя не комфортно, неуютно. И инстинктивно старается разорвать дистанцию, отдалиться.
Существуют специальные психологические приёмы, позволяющие вывести собеседника из комфортного равновесного состояния.
Цель такого приёма - заставить человека нервничать, и впоследствии навязать свою волю оппоненту.
Описанная в Вашем вопросе ситуация как раз относится к таким.
Человек намеренно (или не намеренно?) вторгается в личную зону: приближает своё лицо к лицу собеседника.
Я уже сказал, что надо постараться увеличить дистанцию - отодвинуться.
Не явно, не резко, но увеличить.
Если человек продолжает настойчиво вторгаться в личную зону, можно сделать это демонстративно.
Если и так не понимает, нужно объяснить на словах нежелательность такого тесного общения.
Ну и крайний вариант: прекратить такое "общение".