Так вот с недавнего времени Яндекс (конец 2009 года) и Google (начало 2010 года) пошли навстречу вебмастерам, позволили управлять индексацией сайта в части игнорирования идентификатора. Теперь не нужно нанимать программиста или искать волшебные строки кода и инструкций для .htaccess для того что бы поисковый робот не набирал в индекс одни и те же страницы с разным url. Google за это понижает PR, Яндекс просто выкидывает из индекса одинаковые страницы (и думаю тоже у себя ставит маленький минус сайту в целом). Да и вообще они большую часть тратят на индексацию одних и тех же страниц. Одни минусы в общем. Я с этом тоже долго боролся, написал пару статей.

Теперь все просто, нужно прочитать раздел помощи касающуюся удаления идентификатора сессий в Яндекс, и как настроить динамические параметры сайта в  индексе Google инструментах для вебмастеров. Если что то не понятно – спрашиваем, я отвечу.

В общем жить стало лучше, жить стало веселей! Ура товарищи!

Для описанных далее процедур вы должны иметь учетную запись на сервисе Google инструменты для вебмастера и добавленный сайт в консоли этого инструмента.

К делу. Заходим в “инструменты для вебмастера”, выбираем настраиваемый сайт, в левой панели жмем пункт “конфигурация сайта” в открывшемся списке выбираем “Настройки”. На открывшейся странице находим раздел “Обработка параметров”. (Рисунок 1). Этом разделе отображаются динамические параметры, которые Google может игнорировать. Если вы точно знаете какой параметр url вашего сайта отвечает за передачу идентификатора сессий, тогда просто жмете “+ Добавить параметр” и в появившемся над ним поле вводите этот динамический параметр и выбираете “Пропустить” в соответствующем выпадающем списке. Жмем сохранить и все. Теперь при добавлении в индекс страниц вашего сайта Google будет отрезать идентификатор сессии из url. И заодно решается проблема “Дублированных страниц” из-за это самого идентификатора.

Добавление параметра идентификатора сессий в Google инструменты для вебмастера (Рис. 1)

В случае если вы точно не знаете как пишется параметр для вашего сайта, посмотрите список автоматически найденных параметров рядом с “+ Добавить параметр”, серым шрифтом. Обычно это sid, PHPSESSID, sessionid.

Зачем переносить сайт на новый домен?

Причинами может послужить следующие ситуации.

1. Освободилось более удобное/красивое/краткое доменное имя, и было бы хорошо перенести сайт на него;
2. Сайт имеет доменное имя, а теперь хочется свое и особенное (список бесплатных доменных зон);
3. Текущий домен “забанен” поисковой системой и нужно его сменить, для увеличения посетителей.
4. Доменное имя не принадлежит владельцу сайта, и хочется свое и особенное;

Последняя ситуация возникает когда компания заказывает создание сайта у стороннего разработчика или фрилансера и права администрирования домена для сайта принадлежат компании разработчику (юридически). Будьте внимательны в вопросах регистрации доменных имен, сразу подумайте все варианты развития событий. Регистрируйте доменные имена на свою организацию или проверенного человека.

Быть или не быть переносу домена?

Решение принято, будем переносить домен. Исходя из этого излагаю все плюсы и минусы такого мероприятия.

Начнем с положительных моментов.

• Более удобное и  звучное имя будет способствовать укреплению имиджа сайта (компании);
• Запоминающийся домен, увеличит количество посетителей;
• Переход на “свой” в юридическом плане домен позволит избежать риска шантажа или Киберсквоттерства;
• Смена домена позволит избежать санкций со стороны поисковых систем.

Если у вас есть другие причины сменить домен, я бы не стал думать о них как о существенных. Я перечислил действительно важные причины, остальные не так важны по сравнению с  отрицательными моментами  переноса сайта на новый домен:

• В основных в рунете поисковых системах на период 1-4 месяца вы сильно упадете в поисковой выдаче;
• Накопленные качественные показатели тИЦ и Pr старого домена не сразу, а может и не полностью перенесутся на новый домен;
• Придется управлять вдвое большим количеством электронных ящиков (e-mail) вашего домена или настраивать редирект почты на новый домен;
• Дополнительные расходы по регистрации доменного имени (в большинстве случаев около $15 в год);
• Затраты на специалиста осуществляющего мероприятия по смене домена;
• Поиск хостинга с достаточно широкими возможностями (.htaccess, доступ к Log-файлам, управление почтовыми аккаунтами и т.д.)

Что бы решить нужно или нет, сравните риски которые вы снижаете и риски которые вы принимаете, т.е. плюсы и минусы. Посчитайте в денежном выражении.

Мне кажется в половине случаев можно отказаться от мероприятий по смене домена, во всяком случае до лучших времен. А пока просто зарегистрировать приглянувшийся домен, разработать план и ждать подходящего момента.

Как переносить?

В настоящий момент нет единого плана переноса сайта на новый домен для всех поисковых систем, “всем не угодишь”. В частности у Яндекс и Google различные рекомендации по изменению домена и они даже частично противоречат друг другу. Противоречие в следующем: в процессе переезда Google требует настройки 301 редиректа, а Яндекс наоборот должен иметь одновременный доступ к обоим доменам с идентичным контентом до самого окончания процесса переноса (Платон Щукин подтверждает). Процесс получается долгий и спешки не приемлет.

Предлагается следующий план по переносу домена основанный на личном опыте автора.

1. Регистрируем старый домен в сервисах для администраторов Яндекс и Google (Яндекс.Вебмастер, Google инструменты для вебмастеров);
2. Регистрируем новый домен, паркуем его на существующий хостинг сайта или создаем зеркало сайта на другом хостинге с новым доменом;
3. Начинаем постоянное отслеживание полной идентичности содержания сайтов на старом и новом домене (количество, содержание страниц, дизайн);
4. Регистрируем новый домен в сервисах из пункта №1;
5. Создаем директиву host в файле robots.txt для начала переноса в Яндекс’е. Процесс займет от 1 до 4 месяцев. Факторы определяющие продолжительность не выявлены, но явно замечено, что чем больше сайт (количество страниц и документов (файлов) – тем больше времени. Для уточнений обращаемся к статье «Переезд сайта на новый домен» инструкция от Яндекса.
6. С помощью Яндекс.Вебмастер наблюдаем как количество страниц в индексе старого домена уменьшается, а нового – наоборот увеличивается. В конце процесса поступит сообщение от Яндекс, об успешной склейке доменов и переносе тИЦ. С Яндексом разобрались.
7. В сервисе «Google инструменты для вебмастеров» настраиваем «Изменение адреса» с указанием нового домена, и выполняем все остальные рекомендации по переносу (главное – редирект 301, как это сделать в cpanel) . Отслеживаем процесс индексации нового сайта и параллельном уменьшении количества страниц участвующих в поиске Google для старого домена.
8. Проводим мероприятия по исправлению старого домена на визитках, официальных документах, рекламных носителях и т.д.

По мнению автора такой план отличается от других тем, что он достаточно консервативен и растянут во времени. Однако в то же время он менее рискован, мероприятия происходят поэтапно, в случае если на каком то этапе возникнут проблемы, вопрос времени не критичен, т.к.  следующие этапы еще не начаты. Например, если при смене домена в Яндексе сильно упал поисковый трафик, Google продолжает на прежнем уровне направлять пользователей на старый домен. Такая ситуация кажется лучше чем потерять до 90% трафика от обоих поисковых систем одновременно.

Статья написана сжато и дает только принципиальные моменты. Постепенно она будет расширятся дополняющими записями. В случае «когда невмоготу ждать» – пишем вопросы в комментариях, я обязательно на них отвечу.

upd 9 февраля 2010 года. Предположения подтвердились, для Яндекс’а хватает указания директив в файле robots.txt. Склекейка доменов произошла в течение месяца-двух, постепенно набирал страницы в индекс (очень помогает регулярное обновление Sitemap.xml). В целом я доволен.

Google индексировал оба сайта, очень медлительно. По прошествии 90 дней он отключил настройку “изменение адреса” в панели инструментов для вебмастера, которая должна была выкинуть из индекса старый домен. Видимо нужно настраивать редирект 301, тогда он выкинет все страницы старого домена. Проблема налицо, Гугл не понимает какой из доменов главный, а какой зеркало.

Множество CMS используют передачу идентификатора сессий (session-id, SID) через параметр в URL. Это плохо для индексации поисковиками и об этом я уже писал в статье «Убираем идентификатор сессии в phpBB3 форуме». Есть еще один способ избавиться от идентификатора в индексируемых страницах. Яндексом введена специальная директива файла robots.txt которая позволяет очистить url от динамических параметров, не прибегая к изменениям в коде вашего сайта (CMS). Наличие таких параметров заставляет думать поисковик что одна и та же страница, но с разными динамическими параметрами в адресе – это разные страницы. И это так, по формальному признаку, адрес (URL) страницы  то разный!

Решение

Вносим директивы в свой файл robots.txt. Пример файла одного из обслуживаемых мной форумов.

User-agent: Yandex
Disallow: /jscripts/
Disallow: /admin/
Disallow: /files/
Disallow: /phpBB3/faq.php
Disallow: /phpBB3/mcp.php
Disallow: /phpBB3/memberlist.php
Disallow: /phpBB3/posting.php
Disallow: /phpBB3/report.php
Disallow: /phpBB3/search.php
Disallow: /phpBB3/style.php
Disallow: /phpBB3/ucp.php
Disallow: /phpBB3/viewtopic.php?p=*
Disallow: /phpBB3/viewtopic.php?f=*&t=*&start=0$
Disallow: /phpBB3/viewforum.php?f=*&start=0$
Disallow: /phpBB3/viewtopic.php?f=*&t=*&view=next
Disallow: /phpBB3/viewtopic.php?f=*&t=*&view=previous
Host: www.acg54.com
Clean-param: sid /phpBB3/index.php
Clean-param: sid /phpBB3/viewforum.php
Clean-param: sid /phpBB3/viewtopic.php

Параметр Clean-param отвечает за очистку url от динамических параметров при индексировании. В нашем случае sid – это параметр идентификатора сессий, а /phpBB3/index.php – это страница на которой нужно игнорировать этот параметр. Приведенный пример удаляет идентификатор сессии для форума phpBB3.
В моей практике проблема sid свойственна свободным CMS и «самописным» сайтам. Подробнее о применении директивы можно прочитать на Яндекс.Вебмастер.

Если нужна помощь, в написании директив для вашего сайта, прошу оставлять комментарии, попробую помочь.

У многих сайтов в интернете часть сайта не проверяется на орфографию языка. Вероятно и на вашем сайте есть большая доля такого контента. Это факт.
Такой орфографически неправильный текст вреден во всех смыслах и даже в поисковом продвижении.
Основные источники такого текста:

• Форумы
• Комментарии
• Ворованные тексты
• Агрегированный контент
• Свои уникальные тексты, написанные неграмотно.

Постановка проблемы

Осмысленный текст нужен для того что бы передавать информацию доступным способом. Текст для того что его читали люди. Любой текст с орфографическими ошибками, будь то визитка, газетная статья, книга вызывает различные эмоции и накладывают соответствующий отпечаток на образ издания (источника информации, конкретного человека).  Ошибки могут вызвать недоверие, усмешку и даже раздражение со стороны читателя.  Это человеческий отрицательный момент.

В сети Интернет кроме людей тексты анализируют поисковые роботы. Смысла они не понимают, но запоминают каждую букву и анализируют весь текст строго, статистически. От орфографических ошибок страдают позиции вашего сайта в поисковых системах (Google, Яндекс и прочие). Чем ниже ваши позиции в поисковых сервисах тем меньше вероятности что ваш текст прочитает конкретный пользователь.  Это тоже факт.

Текст на сайтах коммерческого характера преследует задачу “заставить купить что либо”, хоть и косвенно. Неприятный для чтения текст не продает, а отпугивает покупателей. Не важно что вы продаете, рекламные места, услуги, материальные товары…

Как решать «Русский вопрос»?

Перед опубликовании текстов на вашем сайте, проверяйте орфографию в доступных инструментов среди которых могу предложить:

• Текстовые редакторы (MS Office, OpenOffice)
• Он-лайн сервисы (DeepText, Грамота.ру)
• Интернет браузеры с функцией проверки орфографии (FireFox) если текст пишется непосредственно на сайте.

Указанные инструменты не затмят учителя русского языка. Поэтому в идеале тексты должны писать грамотные люди или даже копирайтеры. Хотя бы сами перечитывайте тексты которые хотите опубликовать.

Исключения из правил «Русского вопроса»

Бывает что текст с ошибками исправлять не нужно. Пример когда сайт рассчитан на соответствующую аудиторию. Пример такого текста: «Котэ кагбе негодуе». Сленг тоже имеет право на жизнь. Во всяком случае когда он помогает зарабатывать.

Бывает что нужно сохранить специфическую «человечность текста». Как пример – тематические форумы о различных хобби, люди говорят пишут как умеют, не соблюдая стилистических правил языка и чувствуют себя в кругу себе подобных. Для того и существуют форумы – свободное общение и все на принципах взаимоуважения.

Здесь, как мне кажется есть выход. Для целей поискового продвижения такой текст подлежит частичной корректировке только относительно продвигаемых ключевых слов.

Пример. Автомобильный форум. Смотрим (модерируем) каждый новый пост/тему на наличие ключевых слов (марки машин, производителей и пр.)  и исправляем, тем самым увеличивая плотность ключевых слов. Таким образом сохраняем простой язык и решаем задачу SEO.

Заключение

Личное дело каждого, насколько следовать правилам написания родного для него языка. Только следует помнить что, понятный, удобно читаемый, красивый стилистически текст способствует увеличению посетителей сайта, увеличению продаж, и вообще… так правильней.

p.s. Сам часто допускаю ошибки, но стараюсь уменьшать их количество в своих текстах, письмах, устной речи доступными приемами.

2 способа убрать сессии из форума phpbb3

Для того что бы показывать для различных пользователей различную информацию на форуме используется идентификатор сессии или по другому SID. Простой пример: для гостей показывается ссылка “Войти”, а для вошедших на форум под зарегистрированным пользователем показываются ссылки на личный кабинет, дополнительные функции и конечно же “Выйти”.

Выглядит он следующим образом:

http://www.ваш-домен.com/phpBB3/index.php?sid=fa6bf5b0b4d8d504e55241b0bc6e

Откройте ваш форум в любимом браузере (не регистрируясь в форуме!) и посмотрите на адресную строку.

Если на вашем форуме в строке браузера видна выделенная часть – значит она видна всем гостям, а самое главное поисковым ботам. Нужно это исправлять, иначе вы не добьетесь хороших результатов в индексации вашего форума.

Способ №1. Добавляем поисковых ботов

Заходим на свой phpBB3 форум под учетной записью с правами администратора, после успешного входа ищем внизу страницы ссылку “Администраторский раздел”, вводим логин/пароль повторно. Жмем вкладку “СИСТЕМА”, в левой части меню ищем раздел “Поисковые боты”. Перед вами список всех поисковых ботов известных вашему форуму.

Этот список служит для того что бы отключать SID именно для этих ботов и решить проблему индексации. Проверьте есть ли в этом списке основные роботы. В моем форуме не было роботов Yandex, Rambler, Mail.ru.

В приведенной ниже таблице перечислены основные поисковые боты.

Недостающие роботы добавляем через кнопку “Добавить бота”.  Название бота можете вписать как хотите, а вот Соответствие агенту (User-Agent) должно содержать соответствующее служебное имя бота (второй столбец предыдущей таблицы). На рисунке ниже показано как заполнять для поисковых ботов Яндекса.

В идеале, нужно добавить всех существующих роботов, но можем кого то пропустить или поисковый сервис сменит значение “User-Agent” для своего робота и тогда он не будет распознан форумом, хотя последее, наврятли. Расширенный и обновляемый список известных мне поисковых ботов. Для таких случаев нужно удалить из URL идентификатор сессии для всех кто не вошел на сайт как зарегистрированный пользователь. По умолчанию для гостей SID тоже показывается.

Способ №2. Добавление кода PHP в движок форума

Убрать гостевые сессии поможет следующие действия:

Находим файл includes/functions.php. В нем находим следующий код

// Assign sid if session id is not specified
 if ($session_id === false)
 {
 $session_id = $_SID;
 }

После него добавляем этот код

// Begin SEO phpBB
 global $user;
 if ($user->data['user_id'] == ANONYMOUS OR $user->data['is_bot'] )
 {
 $session_id = false;
 }
 // End SEO phpBB

После того как в мой форум избавился от идентификатора сессий (Session ID), Яндекс заметно лучше стал индексировать мой сайт и это естественно повлияло на позиции в выдаче.

Для удаления из индекса Яндекс страниц с идентификатором существует 3-й способ, описанный в статье «Улучшаем индексацию Яндексом. Проблема идентификатора сессий».