Почему-то вспомнился анекдот, который как раз к вашей ситуации применить можно.
— Лучшая политика это игнорировать идиотов
— Отличная цитата. Кто автор?
— Представлять, что их не существует
— Ну кто автор?
— И продолжать жить
Во-первых, не обращайте на этого человека внимание, как-будто его не существует. Собака лает, ветер относит. Часто такие люди, видя что ожидаемого эффекта не получают, отцепятся и переключатся на другую жертву.
Во-вторых, помните первый пункт и не растрачивайте свои нервы. Они вам еще понадобятся.
В-третьих, обращайтесь к этому человеку с жалостью, как к блаженному. Смотрите на него соответствующе.
В-четвертых, Просто продолжайте жить и делать свою работу. Любите себя и цените себя. Гордо держите голову. Вы же не согласны с тем, что этот человек о вас говорит? Тогда и не допускайте его слова к себе. Со временем увидите результат!