Question

Почему Яндекс проиндекcировал только рубрики на сайте?

Blog-Story.ru

Текст уникален, а в индекс попали только рубрики. Хотя поначалу и статьи были проиндексированы, но потом ушли из индекса.

robot.txt:

User-agent: *

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /webstat/

Disallow: /feed/

Disallow: /trackback

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Disallow: /*?*

Disallow: /*?

Disallow: /category/*/*

Disallow: /wp-content/

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /comments

User-agent: Yandex

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /webstat/

Disallow: /feed/

Disallow: /trackback

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Disallow: /*?*

Disallow: /*?

Disallow: /category/*/*

Disallow: /wp-content/

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /comments

Host: blog-story.ru

Sitemap: blog-story.ru/sitemap.xml

Answer 1

Какой-то странный у вас файл роботс. Вы же рубрики закрыли от индексации в нем. Вот вам мой роботс. С ним мой блог в индекс попал на второй день после создания.

User-agent: Yandex

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /wp-trackback

Disallow: /wp-feed

Disallow: /wp-comments

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Host: www.мой.ru

User-agent: *

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /wp-trackback

Disallow: /wp-feed

Disallow: /wp-comments

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Sitemap: http://мой.ru/sitemap.xml

Answer 2

Главное: мне вообще не понятно, зачем вам файл robots, на страницах которые прописаны и так установлены теги noindex, nofollow. Без знания дела дублировать все в роботс нет смысла. Плюс к этому поисковик никогда не будет индексировать страницы закрытые паролем. Я вам рекомендую поставить плагин All in One SEO Pack, настроить его, удалить ваш Роботс и ждать переиндексации.

Вообще такие финты с Яндексом бывают, обычно потому что он находит похожие страницы, допустим архивы, страницы вложений и путает - выставляет в индекс зеркала и не нужные страницы, обычно такие ситуации решаются последующей обходом робота.

Answer 3

Может это поможет, но насколько я ощутил, сайт в первое время своей жизнедеятельности, системами определяется частично; далее - более тщательно! (в плоть до картинок типа аватар или элементов сайта из папки "рисунков"(стиля)) К тому же многое зависит от распространённости ссылки на сайт(так называемые тиц и рп(для гугла)).