До некоторых пор эта проблема была для меня очень актуальной! После долгих и утомительных поисков в интернете я случайно наткнулся на одну интересную утилиту, называется она "WorkWithText". В общем-то эта утилита предназначена для работы с базами данных, но как оказалось, и для удаления дублирующихся строк она тоже подходит!
Скачать эту утилиту можно по этой ссылке! Скачиваете данную утилиту (3 Мб), извлекаете из архива и запускаете, устанавливать утилиту не нужно. В окне программы ставите галочку напротив пункта "Удалить дубликаты" и внизу нажимаете на кнопку Выбрать и удалить дубли. Появится окошко с предложением открыть файл, в котором необходимо удалить дубликаты, выбираете ваш текстовый файл. Появится сообщение, сколько было удалено повторяющихся строк...
<hr />
<hr />
При этом утилита после завершения работы создаст в папке (в которой она находится) отдельный файл с результатом своей работы, в вашем случае он будет называться Dupdel.txt. Можете его открыть и посмотреть, что все дублирующие строки были удалены!
<hr />
<hr />
Вот таким вот нехитрым способом можно удалить повторяющие строки в текстовом файле...