Так вот с недавнего времени Яндекс (конец 2009 года) и Google (начало 2010 года) пошли навстречу вебмастерам, позволили управлять индексацией сайта в части игнорирования идентификатора. Теперь не нужно нанимать программиста или искать волшебные строки кода и инструкций для .htaccess для того что бы поисковый робот не набирал в индекс одни и те же страницы с разным url. Google за это понижает PR, Яндекс просто выкидывает из индекса одинаковые страницы (и думаю тоже у себя ставит маленький минус сайту в целом). Да и вообще они большую часть тратят на индексацию одних и тех же страниц. Одни минусы в общем. Я с этом тоже долго боролся, написал пару статей.

Теперь все просто, нужно прочитать раздел помощи касающуюся удаления идентификатора сессий в Яндекс, и как настроить динамические параметры сайта в  индексе Google инструментах для вебмастеров. Если что то не понятно – спрашиваем, я отвечу.

В общем жить стало лучше, жить стало веселей! Ура товарищи!

Для описанных далее процедур вы должны иметь учетную запись на сервисе Google инструменты для вебмастера и добавленный сайт в консоли этого инструмента.

К делу. Заходим в “инструменты для вебмастера”, выбираем настраиваемый сайт, в левой панели жмем пункт “конфигурация сайта” в открывшемся списке выбираем “Настройки”. На открывшейся странице находим раздел “Обработка параметров”. (Рисунок 1). Этом разделе отображаются динамические параметры, которые Google может игнорировать. Если вы точно знаете какой параметр url вашего сайта отвечает за передачу идентификатора сессий, тогда просто жмете “+ Добавить параметр” и в появившемся над ним поле вводите этот динамический параметр и выбираете “Пропустить” в соответствующем выпадающем списке. Жмем сохранить и все. Теперь при добавлении в индекс страниц вашего сайта Google будет отрезать идентификатор сессии из url. И заодно решается проблема “Дублированных страниц” из-за это самого идентификатора.

Добавление параметра идентификатора сессий в Google инструменты для вебмастера (Рис. 1)

В случае если вы точно не знаете как пишется параметр для вашего сайта, посмотрите список автоматически найденных параметров рядом с “+ Добавить параметр”, серым шрифтом. Обычно это sid, PHPSESSID, sessionid.

Множество CMS используют передачу идентификатора сессий (session-id, SID) через параметр в URL. Это плохо для индексации поисковиками и об этом я уже писал в статье «Убираем идентификатор сессии в phpBB3 форуме». Есть еще один способ избавиться от идентификатора в индексируемых страницах. Яндексом введена специальная директива файла robots.txt которая позволяет очистить url от динамических параметров, не прибегая к изменениям в коде вашего сайта (CMS). Наличие таких параметров заставляет думать поисковик что одна и та же страница, но с разными динамическими параметрами в адресе – это разные страницы. И это так, по формальному признаку, адрес (URL) страницы  то разный!

Решение

Вносим директивы в свой файл robots.txt. Пример файла одного из обслуживаемых мной форумов.

User-agent: Yandex
Disallow: /jscripts/
Disallow: /admin/
Disallow: /files/
Disallow: /phpBB3/faq.php
Disallow: /phpBB3/mcp.php
Disallow: /phpBB3/memberlist.php
Disallow: /phpBB3/posting.php
Disallow: /phpBB3/report.php
Disallow: /phpBB3/search.php
Disallow: /phpBB3/style.php
Disallow: /phpBB3/ucp.php
Disallow: /phpBB3/viewtopic.php?p=*
Disallow: /phpBB3/viewtopic.php?f=*&t=*&start=0$
Disallow: /phpBB3/viewforum.php?f=*&start=0$
Disallow: /phpBB3/viewtopic.php?f=*&t=*&view=next
Disallow: /phpBB3/viewtopic.php?f=*&t=*&view=previous
Host: www.acg54.com
Clean-param: sid /phpBB3/index.php
Clean-param: sid /phpBB3/viewforum.php
Clean-param: sid /phpBB3/viewtopic.php

Параметр Clean-param отвечает за очистку url от динамических параметров при индексировании. В нашем случае sid – это параметр идентификатора сессий, а /phpBB3/index.php – это страница на которой нужно игнорировать этот параметр. Приведенный пример удаляет идентификатор сессии для форума phpBB3.
В моей практике проблема sid свойственна свободным CMS и «самописным» сайтам. Подробнее о применении директивы можно прочитать на Яндекс.Вебмастер.

Если нужна помощь, в написании директив для вашего сайта, прошу оставлять комментарии, попробую помочь.

2 способа убрать сессии из форума phpbb3

Для того что бы показывать для различных пользователей различную информацию на форуме используется идентификатор сессии или по другому SID. Простой пример: для гостей показывается ссылка “Войти”, а для вошедших на форум под зарегистрированным пользователем показываются ссылки на личный кабинет, дополнительные функции и конечно же “Выйти”.

Выглядит он следующим образом:

http://www.ваш-домен.com/phpBB3/index.php?sid=fa6bf5b0b4d8d504e55241b0bc6e

Откройте ваш форум в любимом браузере (не регистрируясь в форуме!) и посмотрите на адресную строку.

Если на вашем форуме в строке браузера видна выделенная часть – значит она видна всем гостям, а самое главное поисковым ботам. Нужно это исправлять, иначе вы не добьетесь хороших результатов в индексации вашего форума.

Способ №1. Добавляем поисковых ботов

Заходим на свой phpBB3 форум под учетной записью с правами администратора, после успешного входа ищем внизу страницы ссылку “Администраторский раздел”, вводим логин/пароль повторно. Жмем вкладку “СИСТЕМА”, в левой части меню ищем раздел “Поисковые боты”. Перед вами список всех поисковых ботов известных вашему форуму.

Этот список служит для того что бы отключать SID именно для этих ботов и решить проблему индексации. Проверьте есть ли в этом списке основные роботы. В моем форуме не было роботов Yandex, Rambler, Mail.ru.

В приведенной ниже таблице перечислены основные поисковые боты.

Недостающие роботы добавляем через кнопку “Добавить бота”.  Название бота можете вписать как хотите, а вот Соответствие агенту (User-Agent) должно содержать соответствующее служебное имя бота (второй столбец предыдущей таблицы). На рисунке ниже показано как заполнять для поисковых ботов Яндекса.

В идеале, нужно добавить всех существующих роботов, но можем кого то пропустить или поисковый сервис сменит значение “User-Agent” для своего робота и тогда он не будет распознан форумом, хотя последее, наврятли. Расширенный и обновляемый список известных мне поисковых ботов. Для таких случаев нужно удалить из URL идентификатор сессии для всех кто не вошел на сайт как зарегистрированный пользователь. По умолчанию для гостей SID тоже показывается.

Способ №2. Добавление кода PHP в движок форума

Убрать гостевые сессии поможет следующие действия:

Находим файл includes/functions.php. В нем находим следующий код

// Assign sid if session id is not specified
 if ($session_id === false)
 {
 $session_id = $_SID;
 }

После него добавляем этот код

// Begin SEO phpBB
 global $user;
 if ($user->data['user_id'] == ANONYMOUS OR $user->data['is_bot'] )
 {
 $session_id = false;
 }
 // End SEO phpBB

После того как в мой форум избавился от идентификатора сессий (Session ID), Яндекс заметно лучше стал индексировать мой сайт и это естественно повлияло на позиции в выдаче.

Для удаления из индекса Яндекс страниц с идентификатором существует 3-й способ, описанный в статье «Улучшаем индексацию Яндексом. Проблема идентификатора сессий».