Комментарии на: Названия поисковых ботов (пакуков) основных поисковых систем рунета.

От: Сергей Дорохин

Сергей Дорохин — Thu, 28 Jan 2010 05:07:31 +0000

Сомневаюсь что у ботов Яндекса или Google будут пустые User-Agent. Такими приемами чаще всего пользуются спамеры. Для того что бы в поиске не участвовали какие то страницы, нужно запретить их к индексированию. Например, с помощью robots.txt. Покажите конкретный пример, подскажу как поступить.

От: Илья

Илья — Thu, 28 Jan 2010 03:37:58 +0000

Да только иногда пролетают пустые заголовки от ботов. Не знаю даже с чем это связано. Пробовал не давать поисковику страницы, смотря в заголовки, но они почему то все равно в поиске(.

От: Сергей Дорохин

Сергей Дорохин — Mon, 18 Jan 2010 11:58:07 +0000

Всегда готов поделиться опытом. Такой бан Хрумера – это минимум что можно сделать. Повторюсь, матерые спамеры меняют имя спам-программы и работают через прокси-сервер. На сегодняшний день блог я защищаю с помощью Akismet.

От: Dan Sokolov

Dan Sokolov — Mon, 18 Jan 2010 08:50:24 +0000

Спасибо за статью!
Очень полезная информация.
Особенный респект за решение с баном Хрумера, а то чессслово достал уже)