Проиндексирует обязательно, и абсолютно все страницы, кроме запароленных (например админки и зашифрованных страниц) и не индексируемых (например флешь страниц и некоторых текстовых документов), но если движок самописный, то вы можете не досмотреть и проиндексируются личные данные админки - в случае с известным движком индексирование личной информации из ряда фантастики, хотя были (смс и ммс сообщения мегафона).
Писать файл "Робот" нужно только для особых нужд: для того чтобы не попасть в бан за излишнюю сео-оптимизацию, и для того чтобы в поиске попадал только нужный контент, а не клоны типа архивов рубрик и тп (там где контент идентичен, а его адрес разный - некоторые роботы индексаторы прекращают индексировать целый сайт).
Если вы используете блоговые движки, то лучше не надо заморачиваться если не умеете, так как поисковики обучены правильно индексировать например Вордпрес или ДЛЕ, а так как програмисты не спешат раскрывать верных алгоритмов индексации, в сети полно неправильных описаний создания файлов Роботс, а что бы понять АПИ Яндекса, например, нужно въе...ть стакан водки, заесть перцем и прочитать до конца.
Если у вас совсем новенький сайт, то его индексация может начаться даже через полгода. Для начала индексации нужно многое сделать. Например, сообщить Яндексу о том, что этот сайт существует. Также нужно подтвердить права на него.
По мере поступления статей нужно будет каждый раз писать Яндексу об этих новых статьях. Постепенно вас увидят и сайт начнет индексироваться.
Для начала поясню что речь идет о SEO, а не о SMM, поэтому про Твиттер и социальные закладки забудьте (там редирект).
Купленные ссылки в блогах конечно ускорят индексацию сайта поисковыми роботами яндекса.
Вы должны передать роботу информацию о сайте с помощью "аддурилки" яндекса https://webmaster.yandex.ru/addurl.xml
в этом случае среднее время попадания сайта в индекс от нескольких дней, до двух недель. Но это в том случае, если на сайте есть контент. В поисковую выдачу сайт попадет при следующем апе Яндекс-выдачи.
В поиске в это время могут присутствовать страницы сайта проиндексированные быстрым роботом Яндекса.
Обязательно добавьте свой сайт в Яндекс.Вебмастер, подтвердите права удобным для Вас способом и отслеживайте индексацию.
Не забудьте правильно оформить robots.txt (и sitemap.xml опционально).
Влияет, но важно понимать, что кроме уникальности, поисковики ранжируют контент, по авторитета ресурса. Поисковики имеют свой уникальный алгоритм, который неестествен простым смертным.
Но старайтесь, делать уникальный, и интересный контент, пишите для людей, если писать с головы, а не переделывать чужое, как провело выходит 100% уникальность.
К сожалению великому, ни один пользователь проекта "Большой вопрос" Вам ответа не даст. И ни один модератор тоже ответа не знает. Предполагаю, что ответ знает только Администратор. Потому что только ему известны истинные причины, почему случился такой провал в сотрудничестве проекта БВ и Яндекса.
Единственный раз мы получили сообщение, что с Яндексом возникли "временные проблемы". Это было шестого февраля 2014-го года. Кто еще не читал, может пройти по данной ссылке.
Возобновит ли Яндекс индексацию наших вопросов? Надежда теплится, но скорее всего, мало вероятно. И это не пессимизм, а трезвая оценка событий. Почему-то до сих пор нет приложений, в которые "уперся" Яндекс.
Хотя еще с 2013-го года высвечивалась эта проблема. Об этом здесь.
Может быть, случится чудо! И появится индексация вопросов в Яндексе, и вернутся заработки, и с удвоенной силой захочется работать на БВ...
