Так вот с недавнего времени Яндекс (конец 2009 года) и Google (начало 2010 года) пошли навстречу вебмастерам, позволили управлять индексацией сайта в части игнорирования идентификатора. Теперь не нужно нанимать программиста или искать волшебные строки кода и инструкций для .htaccess для того что бы поисковый робот не набирал в индекс одни и те же страницы с разным url. Google за это понижает PR, Яндекс просто выкидывает из индекса одинаковые страницы (и думаю тоже у себя ставит маленький минус сайту в целом). Да и вообще они большую часть тратят на индексацию одних и тех же страниц. Одни минусы в общем. Я с этом тоже долго боролся, написал пару статей.

Теперь все просто, нужно прочитать раздел помощи касающуюся удаления идентификатора сессий в Яндекс, и как настроить динамические параметры сайта в  индексе Google инструментах для вебмастеров. Если что то не понятно – спрашиваем, я отвечу.

В общем жить стало лучше, жить стало веселей! Ура товарищи!

Для описанных далее процедур вы должны иметь учетную запись на сервисе Google инструменты для вебмастера и добавленный сайт в консоли этого инструмента.

К делу. Заходим в “инструменты для вебмастера”, выбираем настраиваемый сайт, в левой панели жмем пункт “конфигурация сайта” в открывшемся списке выбираем “Настройки”. На открывшейся странице находим раздел “Обработка параметров”. (Рисунок 1). Этом разделе отображаются динамические параметры, которые Google может игнорировать. Если вы точно знаете какой параметр url вашего сайта отвечает за передачу идентификатора сессий, тогда просто жмете “+ Добавить параметр” и в появившемся над ним поле вводите этот динамический параметр и выбираете “Пропустить” в соответствующем выпадающем списке. Жмем сохранить и все. Теперь при добавлении в индекс страниц вашего сайта Google будет отрезать идентификатор сессии из url. И заодно решается проблема “Дублированных страниц” из-за это самого идентификатора.

Добавление параметра идентификатора сессий в Google инструменты для вебмастера (Рис. 1)

В случае если вы точно не знаете как пишется параметр для вашего сайта, посмотрите список автоматически найденных параметров рядом с “+ Добавить параметр”, серым шрифтом. Обычно это sid, PHPSESSID, sessionid.

Яндекс

У Яндекса есть несколько роботов, которые представляются по-разному. (источник)

• Yandex/1.01.001 (compatible; Win16; I) — основной индексирующий робот
• Yandex/1.01.001 (compatible; Win16; P) — индексатор картинок
• Yandex/1.01.001 (compatible; Win16; H) — робот, определяющий зеркала сайтов
• Yandex/1.02.000 (compatible; Win16; F) — робот, индексирующий пиктограммы сайтов (favicons)
• Yandex/1.03.003 (compatible; Win16; D) — робот, обращающийся к странице при добавлении ее через форму «Добавить URL»
• Yandex/1.01.001 (compatible; Win16; m),Yandex/1.03.000 (compatible; Win16; M) — роботы, индексирующие мультимедийные данные
• YaDirectBot/1.0 (compatible; Win16; I) — робот, индексирующий страницы сайтов, участвующих в Рекламной сети Яндекса
• YandexBlog/0.99.101 (compatible; DOS3.30; Mozilla/5.0; B; robot) — робот поиска по блогам, индексирующий комментарии постов

IP-адресов, с которых «ходит» робот Яндекса, много, и они могут меняться. Список адресов мы не разглашаем.

Кроме роботов, у Яндекса есть несколько агентов-«простукивалок», которые определяют, доступен ли в данный момент сайт или документ, на который стоит ссылка в соответствующем сервисе.

• Yandex/2.01.000 (compatible; Win16; Dyatel; C) — «простукивалка» Яндекс.Каталога. Если сайт недоступен в течение нескольких дней, он снимается с публикации. Как только сайт начинает отвечать, он автоматически появляется в Каталоге.
• Yandex/2.01.000 (compatible; Win16; Dyatel; Z) — «простукивалка» Яндекс.Закладок. Ссылки на недоступные сайты помечаются серым цветом.
• Yandex/2.01.000 (compatible; Win16; Dyatel; D) — «простукивалка» Яндекс.Директа. Она проверяет корректность ссылок из объявлений перед модерацией. Никаких автоматических действий не предпринимается.
• Yandex/2.01.000 (compatible; Win16; Dyatel; N) — «простукивалка» Яндекс.Новостей. Она формирует статистические отчеты для контент-менеджера и информирует его о возможных проблемах у партнеров-поставщиков новостей.

Rambler

У рамблера поисковый робот именуется StackRambler. (источник)

Google, Bing, Yahoo

Официальной информации о том как именуются User-Agent поисковых ботов Google и Bing (MSN) я не нашел. Пришлось покопать логи сервера и найти знакомые аббревиатуры.

Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Agent: msnbot/2.0b (+http://search.msn.com/msnbot.htm)

Agent: Mozilla/5.0 (compatible; Yahoo! Slurp/3.0; http://help.yahoo.com/help/us/ysearch/slurp)

По аналогии с роботами Яндекса названия роботов можно свести к Googlebot, msnbot, Yahoo. Дополнительная информацию по роботу Google, она больше касается вопросам безопасности.

Кроме прочего были найдены странные имена агентов, происхождение которых я выяснять не стал.

Agent: Mediapartners-Google

Agent: Microsoft Data Access Internet Publishing Provider Protocol Discovery

Agent: Mozilla/5.0 (compatible; DotBot/1.1; http://www.dotnetdotcom.org/, crawler@dotnetdotcom.org)

И еще я заметил что в логах засветилась спамерская программа xrymep.exe. Профессиональные спамеры изменяют User-Agent, значит еще один спамер родился. Лучше будет вообще запретить доступ к сайту пользователям с таким User-Agent  с помощью директив .htaccess

SetEnvIf User-Agent "Crazy Browser" bad
 SetEnvIf User-Agent "xpymep" bad
 SetEnvIf User-Agent xpymep.exe bad
 Order allow,deny
 Deny from env=bad
 Allow from all

Информация будет пополнятся, задаем вопросы в комментариях – получаем ответы.

В качестве источников по теме читаем ресурс robotstxt.org.ru

В качестве иллюстрации к статье использован кадр фильма «Я робот».

Зачем переносить сайт на новый домен?

Причинами может послужить следующие ситуации.

1. Освободилось более удобное/красивое/краткое доменное имя, и было бы хорошо перенести сайт на него;
2. Сайт имеет доменное имя, а теперь хочется свое и особенное (список бесплатных доменных зон);
3. Текущий домен “забанен” поисковой системой и нужно его сменить, для увеличения посетителей.
4. Доменное имя не принадлежит владельцу сайта, и хочется свое и особенное;

Последняя ситуация возникает когда компания заказывает создание сайта у стороннего разработчика или фрилансера и права администрирования домена для сайта принадлежат компании разработчику (юридически). Будьте внимательны в вопросах регистрации доменных имен, сразу подумайте все варианты развития событий. Регистрируйте доменные имена на свою организацию или проверенного человека.

Быть или не быть переносу домена?

Решение принято, будем переносить домен. Исходя из этого излагаю все плюсы и минусы такого мероприятия.

Начнем с положительных моментов.

• Более удобное и  звучное имя будет способствовать укреплению имиджа сайта (компании);
• Запоминающийся домен, увеличит количество посетителей;
• Переход на “свой” в юридическом плане домен позволит избежать риска шантажа или Киберсквоттерства;
• Смена домена позволит избежать санкций со стороны поисковых систем.

Если у вас есть другие причины сменить домен, я бы не стал думать о них как о существенных. Я перечислил действительно важные причины, остальные не так важны по сравнению с  отрицательными моментами  переноса сайта на новый домен:

• В основных в рунете поисковых системах на период 1-4 месяца вы сильно упадете в поисковой выдаче;
• Накопленные качественные показатели тИЦ и Pr старого домена не сразу, а может и не полностью перенесутся на новый домен;
• Придется управлять вдвое большим количеством электронных ящиков (e-mail) вашего домена или настраивать редирект почты на новый домен;
• Дополнительные расходы по регистрации доменного имени (в большинстве случаев около $15 в год);
• Затраты на специалиста осуществляющего мероприятия по смене домена;
• Поиск хостинга с достаточно широкими возможностями (.htaccess, доступ к Log-файлам, управление почтовыми аккаунтами и т.д.)

Что бы решить нужно или нет, сравните риски которые вы снижаете и риски которые вы принимаете, т.е. плюсы и минусы. Посчитайте в денежном выражении.

Мне кажется в половине случаев можно отказаться от мероприятий по смене домена, во всяком случае до лучших времен. А пока просто зарегистрировать приглянувшийся домен, разработать план и ждать подходящего момента.

Как переносить?

В настоящий момент нет единого плана переноса сайта на новый домен для всех поисковых систем, “всем не угодишь”. В частности у Яндекс и Google различные рекомендации по изменению домена и они даже частично противоречат друг другу. Противоречие в следующем: в процессе переезда Google требует настройки 301 редиректа, а Яндекс наоборот должен иметь одновременный доступ к обоим доменам с идентичным контентом до самого окончания процесса переноса (Платон Щукин подтверждает). Процесс получается долгий и спешки не приемлет.

Предлагается следующий план по переносу домена основанный на личном опыте автора.

1. Регистрируем старый домен в сервисах для администраторов Яндекс и Google (Яндекс.Вебмастер, Google инструменты для вебмастеров);
2. Регистрируем новый домен, паркуем его на существующий хостинг сайта или создаем зеркало сайта на другом хостинге с новым доменом;
3. Начинаем постоянное отслеживание полной идентичности содержания сайтов на старом и новом домене (количество, содержание страниц, дизайн);
4. Регистрируем новый домен в сервисах из пункта №1;
5. Создаем директиву host в файле robots.txt для начала переноса в Яндекс’е. Процесс займет от 1 до 4 месяцев. Факторы определяющие продолжительность не выявлены, но явно замечено, что чем больше сайт (количество страниц и документов (файлов) – тем больше времени. Для уточнений обращаемся к статье «Переезд сайта на новый домен» инструкция от Яндекса.
6. С помощью Яндекс.Вебмастер наблюдаем как количество страниц в индексе старого домена уменьшается, а нового – наоборот увеличивается. В конце процесса поступит сообщение от Яндекс, об успешной склейке доменов и переносе тИЦ. С Яндексом разобрались.
7. В сервисе «Google инструменты для вебмастеров» настраиваем «Изменение адреса» с указанием нового домена, и выполняем все остальные рекомендации по переносу (главное – редирект 301, как это сделать в cpanel) . Отслеживаем процесс индексации нового сайта и параллельном уменьшении количества страниц участвующих в поиске Google для старого домена.
8. Проводим мероприятия по исправлению старого домена на визитках, официальных документах, рекламных носителях и т.д.

По мнению автора такой план отличается от других тем, что он достаточно консервативен и растянут во времени. Однако в то же время он менее рискован, мероприятия происходят поэтапно, в случае если на каком то этапе возникнут проблемы, вопрос времени не критичен, т.к.  следующие этапы еще не начаты. Например, если при смене домена в Яндексе сильно упал поисковый трафик, Google продолжает на прежнем уровне направлять пользователей на старый домен. Такая ситуация кажется лучше чем потерять до 90% трафика от обоих поисковых систем одновременно.

Статья написана сжато и дает только принципиальные моменты. Постепенно она будет расширятся дополняющими записями. В случае «когда невмоготу ждать» – пишем вопросы в комментариях, я обязательно на них отвечу.

upd 9 февраля 2010 года. Предположения подтвердились, для Яндекс’а хватает указания директив в файле robots.txt. Склекейка доменов произошла в течение месяца-двух, постепенно набирал страницы в индекс (очень помогает регулярное обновление Sitemap.xml). В целом я доволен.

Google индексировал оба сайта, очень медлительно. По прошествии 90 дней он отключил настройку “изменение адреса” в панели инструментов для вебмастера, которая должна была выкинуть из индекса старый домен. Видимо нужно настраивать редирект 301, тогда он выкинет все страницы старого домена. Проблема налицо, Гугл не понимает какой из доменов главный, а какой зеркало.