Есть такой замечательный файл - robots.txt, который может находится в корне доменой папки и доступен по адресу (www.)sitename.domain/robots.txt В этом файле указываются разрешения поисковому роботу (User-agent) Disallow: путь, запрещённый для индексации. И робот понимает: можно индексировать всё, что не запрещено. Можно разным поисковым роботам запрещать разные части сайта.
Пример robots.txt с www.bolshoyvopros.ru
Для начала нужно понимать, что БВ это огромный проект, в нем есть видимая часть для поисковых систем (вопросы, ответы) и часть которая закрыта от взгляда поисковых систем (админ папки). Кроме того поисковые системы сами определяют период когда добавлять страницу в поисковую выдачу. Например если на странице очень мало текста, то она вообще может не попасть в поиск. Что касательно посещаемости и как ее увеличить. Тут нужно писать целую статью, с правильной расстановкой ключевых слов. Большую роль играет востребованность запроса. Если например вопрос актуальный, например о Сирии или Украине из последних новостей по телевизору, мгновенный просмотр страницы большим количеством людей обеспечен. Не плохо помогают бонусы, что тоже резко увеличивает посещаемость. Таким образом частично можно заменить поисковую индексацию страницы.
Касательно поисковых систем.
Для тех кто не знает. У нас две основные поисковые системы Яндекс и Гугл. Рамблер и Маил ру используют поиск Яндекса, своего поискового движка они не имеют! Вот поэтому как Яндекс определит релевантность, такие места в выдаче и получат страницы.
Выбор у меня невелик -между Гуглом и Яндексом. И я предпочитаю Яндекс. Он ориентирован на русскоязычный контент, российскую аудиторию. Например, если я ищу отзывы на товары, - которые покупаю в российских супермаркетах или имагах, - то Гугл может даже и не выдать искомые запросы. То же касается поиска торрентов русских фильмов и сериалов - Яндекс предпочтительнее.Так и с изображениями, фото, картинками - Яндекс выдает бОльший и нужный мне ассортимент. И чисто визуально Гугл какой-то "голый" , формальный в соотношении с Яндексом, последний уютнее. Рекламу же в Яндексе, на которую многие сетуют, я просто не замечаю, игнорирую, мне не мешает она.
Для того чтобы улучшить индексацию сайта необходимо предпринять такие действия:
1 Добавить сайт во все поисковики тем самым увеличить популярность сайта.
2 Использовать социальные сети , создавать группы с похожий тематикой ( в которых будут ваши ссылки) , таким образом и роботу будет легче вас найти + получите целевую аудиторию.
3 Нужно провести SEO оптимизация , это улучшить скорость сайта, и поможет поисковым роботам.
4 Также очень важную роль играют поведенческие факторы , чтобы их улучшить необходим качественный материал.
В первую очередь нужно, чтобы данные страницы выдавали код ошибки 404 (Страница отсутствует). После этого нужно дождаться визита робота поисковой системы, чтобы он увидел, что страница удалена. Для Яндекса визит робота можно ускорить, воспользовавшись инструментом удаления URLa.
