Question

Как написать поисковую программу?

Программа, скрипт, приложение

Не знаю точно как это называется

Но есть такие программы или фрагменты программ, которые ищут соответствие по всему интернету

Сейчас попробую пояснить

Я взял кусочек своего текста из одного ответа и прогнал через сайт текст.ру

И этот сайт показал что мой текст не уникальный а 100% украден с сайта большой вопрос

<hr />

Мне нужно примерно что то такое же, только чтоб поиск шел по заранее вложенным параметрам поисковых запросов

То есть например все упоминания ну допустим Пушкина

Создаем базу всех возможных упоминаний

<hr />

Александр Сергеевич

Пушкин

Книги Пушкина

Стихи Пушкина

Романы Пушкина

Фильмы на основе сюжетов Пушкина

Гончарова

Евгений Онегин

<hr />

Ну и так далее по каждому придуманному возможному пункту

Далее все эти поисковые запросы загружаются в программу и она опрашивает инет по времени - 1 раз в сутки или каждую минуту

И все что найдет, все ссылки, копирует в отдельную папку

А периодически приходит человек и отсматривает что там появилось

<hr />

Можно ли такое написать или такое уже есть?

И сколько примерно может стоить такая программа?

Answer 1

1.на text.ru осуществляется проверка уникальности текста. возможные алгоритм такой берутся цепочки слов из 2, 3 ,4 и так далее слов (пассажи) и отправляются запросы на Яндекс. чем больше совпадений тем меньше уникальность текста ,что собственно вам text.ru в результате и выдаёт.

2.По поводу Вашей задачи. Я так понимаю у вас есть набор тем или ключевых слов в виде списка и выходите их ежедневно мониторить и собирать сайты на которых подобные темы отражены.

Собственный поисковик для этого писать не надо, так как я Яндекс уже собрал базу и периодически её переиндексирует. Поэтому нужное воспользоваться сервисами Яндекса в частности сервисом Яндекс xml.

Работает это следующим образом. Под каждый сайт Если у вас есть свой сайт вам выдается определённое количество лимитов в день. Лимит это один Запрос к Yandex. Количество лимитов зависит от от качества вашего сайта как правило находится в пределах от нескольких десятков до 1000. Если вам этого количество лимитов не хватает, то есть Вам надо делать больше запросов в день то вы можете их подкупить на соответствующей бирже стоит это по-моему не очень дорого.

Другой вариант Если вам нужно очень большое количество запросов в день делать написать в Yandex и видимо на платной основе они как-то эту проблему решают. Так как в интернете наделана куча сервисов в том числе и платных, которые используют Yandex xml.

Запрос пишется в формате xml и результат получаете тоже в формате xml в виде, например списка ссылок на сайты где встречается данное фразы после этого программно можете это обработать занести в базу база самолетами тяжеловесная если вы конечно не лям запросов в день делаете Так что особых проблем здесь нет.

Это вариант так сказать официальный, к но есть и альтернативный вариант который Яндексом не приветствуется: использовать органический поиск Яндекса. Это условно бесплатный способ, но если запросов исходит много то будет вылезать капча . А если вы делаете Это под своим аккаунтом то ещё и аккаунт забанят.

Программа такая не должна быть сильно трудоемкой и сложной в реализации.

Answer 2

Если контроль за живым человеком, то программа особо не нужна живой человек может быстро давать запрос с учетом даты опубликования странички, для этого после поискового запроса надо указать значение начиная с какой даты надо отсматривать.

Это называется фильтровать по дате последнего изменения

Например страницы по запросу Александр Сергеевич Пушкин, созданные начиная с даты 9 апреля 2021 года можно получить следующей строкой:

Александр Сергеевич Пушкин date>=20210409

Весь список запросов можно загнать в страничку ,например из отдельного файла, где дата будет меняться автоматически с возможностью корректировки.

Человек сразу будет видеть выборку по дате (или за период указав нужные даты)

Например так(примерный сценарий использования):

дата устанавливается автоматически и корректируется, после нажатия на кнопку формируются запросы:

после нажатия на нужный запрос можно отсматривать и выдачу поисковика (в другом окне) c указанием когда была опубликована страничка:

Answer 3

Теоретически такую программу написать можно, со слов знакомого программиста, но это будет практически нереализуемо из-за того, что:

1) если установить желаемый уровень проверки, то есть глубину поиска, то весь интернет не то что за день, за неделю не прошерстить.

2) из-за того, что из вашего компьютера будут идти сотни тысяч запросов в сеть, ваш провайдер мгновенно вас заблокирует, как возможного вредоноса и организатора DDOS атаки.

3) стоимость разработки такой программы-поисковика может быть очень большой, в зависимости от ваших хотелок.

4) весь объем собираемой информации, а он будет огромен, надо будет где то хранить, а тут одним жестким диском не обойдешься, да и массива дискового будет маловато.

Короче говоря, надо ориентироваться на Гугл и начинать строить свои дата-центры, нанимать программеров и в добрый путь!!!

Answer 4

Конечно можно. Предыдущий комментатор преувеличивает. Есть поисковые api в открытом доступе. Правда работать это будет медленнее и хуже чем google и Яндекс. Места на диске нужно будет много, но не очень (300-500 гигобайт).