.fdg .fg .df .sd .sddf .vv .suвот такие окончания в доменах третьего уровня гарантируют вам очень долгое ожидание в очереди на индексацию в яндексе, а вообще главное не домен а содержание, и конечно время - со временем все поиковые машины найдут и проиндексируют ваш сайт и его страницы, и это будет зависеть только от вашего контента, но конечно уступит домену первого уровня.
Проиндексирует обязательно, и абсолютно все страницы, кроме запароленных (например админки и зашифрованных страниц) и не индексируемых (например флешь страниц и некоторых текстовых документов), но если движок самописный, то вы можете не досмотреть и проиндексируются личные данные админки - в случае с известным движком индексирование личной информации из ряда фантастики, хотя были (смс и ммс сообщения мегафона).
Писать файл "Робот" нужно только для особых нужд: для того чтобы не попасть в бан за излишнюю сео-оптимизацию, и для того чтобы в поиске попадал только нужный контент, а не клоны типа архивов рубрик и тп (там где контент идентичен, а его адрес разный - некоторые роботы индексаторы прекращают индексировать целый сайт).
Если вы используете блоговые движки, то лучше не надо заморачиваться если не умеете, так как поисковики обучены правильно индексировать например Вордпрес или ДЛЕ, а так как програмисты не спешат раскрывать верных алгоритмов индексации, в сети полно неправильных описаний создания файлов Роботс, а что бы понять АПИ Яндекса, например, нужно въе...ть стакан водки, заесть перцем и прочитать до конца.
Каждая поисковая система держит у себя на службе поисковых роботов. Поисковый робот - это специальная программа, алгоритм которой никому не известен (кроме разработчиков) , SEO оптимизаторы могут лишь догадываться как они работают. Так вот, поисковый робот и бороздит просторы сети в поисках новых сайтов, переходит по ссылкам с одного сайта на другой.
Стоит отметить, что поисковые роботы бывают различных типов, у каждого из них свое предназначение. Я заметил, что поисковые роботы гугла работают намного быстрее яндекса , ведь новые страницы в гугле появляются в день публикации.
Буква е и ё индексируются в любом поисковике одинаково. Можете убедиться в этом сами, набрав и ёж, и еж - результат будет равнозначным. Знаю это наверняка, потому как сама очень люблю букву ё и, если слово её содержит, то я никогда не буду заменять её на букву е. Когда я получаю ответы на свои запросы, то они содержат как слова с буквой е так и слова с буквой ё.
На собственном опыте могу абсолютно точно сказать, что индексирует и яндекс и гугл. У меня были тексты созданные мной с довольно популярной темой в данном сегменте. Затем их на нескольких сайтах скопировали один в один и потихоньку меня вытеснили с первой позиции. Я даже на уникальность их регистрировал на яндексе. Не помогло, я не первый.
Я больше склоняюсь к тому чем больше пузомерка сайта, тем больше вероятность, что плагиат окажется выше на этом сайте, чем на авторском.
