Question

Почему робот яндекса посещает блог, но страницы не индексирует?

Робот яндекса каждый день посещает мой блог, но новые страницы не попадают в индекс. Это случилось после того, как я закрыл индексирование облака тегов в robots.txt чтобы не было дублей.

В Яндекс.Вебмастер видно что робот посещает блог каждый день, но новые страницы не попадают в индекс, хотя раньше попадали через день. Я добавляю новые тексты в содержимое сайта перед публикацией и ссылку в аддурилку яндекса после публикации, но это не помогает. В чем причина? Как повлиять на поведение робота яндекс?

Answer 1

Чехарда в этом моменте начала наблюдаться еще год назад, когда курс рубля по отношению к ведущим мировым валютам стал сильно падать. Бизнесмены от Яндекса, чтобы не терять свою "моржу", вынудили технические службы взять "длинные отвертки" и методом научного тыка перенастроить робота так, чтобы ихние карманы не отощали. Толи спецы тамошние сомнительной квалификации, толи отвертки не той длины, но конца экспериментов ихних не видать и по сей день! Индексацию периодически лихорадит...

Answer 2

Здравствуйте

Про robots.txt я думаю говорить нет смысла, так как тема подразумевает, что у ресурса "адекватная" оптимизация и о таких косяках, как дублирующийся контент, речи не идет. Так же ваш сайт должен быть добавлен в панели для вебмастеров, с указанием главного зеркала.

Чтобы проверить не в бане ли ваш сайт, добавьте его в http://webmaster.yandex.ru/addurl.xml. Если не будет сообщений о бане, то можете расслабиться – бана нет.

Некоторые страницы сами по себе могут не индексироваться по причине того, что Яндекс считает их не интересными и не полезными.

Более того, оцените поведение ваших посетителей у вас на сайте, возможно у вас сайт не соответствует стандартам поисковых систем.

Более того, могу побыть КЭП’ом и сказать, что частота обновления блога напрямую влияет на частоту посещения поисковым роботом вашего сайта. Так что если вы долго сидели в засаде и выложили новую статью, то не ждите молниеносной индексации…Скорее всего это будет не одна неделя

Надеюсь я вам помог если есть вопросы спрашивайте.

Answer 3

Яндекс может не индексировать все страницы блога, если в корне сайта лежит не полная sitemap или блог попал в бан (критерии по которым может банить яндекс разнообразны). В качестве проверки - впишите адрес вашего блога на сайте pr-cy.ru. Там неплохая статистика ключевиков, по которым к вам переходят и хорошо расписаны поисковики google и яндекс. Если вас забанили в яндекс - там высветится.