Чуть больше месяца прошло с того момента, как я купил доменное имя businesslynch.ru и начал вести свой блог. И конечно мне было интересно, сможет ли мой сайт попасть в топ Google поиска по запросу "бизнес линч". Я иногда проверял поиск и постоянно там на 4-ой или 3-ей позиции находил Habrahabr
Сегодня я обратил внимание, что проиндексированная страница находится в директории "search", обычно всей сайты закрывают эту директорию от индексации. Я на всякий случай проверил robots.txt на сайте Habrahabr
Сперва я подумал, что Google налажал с индексацией. Но потом "Зоркий глаз" заметил ошибку в файле robot.txt на Habrahabr :). У них правила прописаны для User-agent: Google, а такого агента у Google нет. У них есть Googlebot . Похоже ответственный за это допустил ошибку. А потом Google весь поиск на Habrahabr съел. Я уверен, что про это баг в Хабре уже знают, но сознательно его не исправляют, так как боятся потерять трафик с Google. Но не выйдет ли это боком для сайта?
UPD:
Спросил про этот баг на форуме Searchengines.ru и получил ответ:
"Обычная ошибка.
Бояться тут нечего и некого.
Да и вообще robots составлен делетантом:
Ибо директива Host не поддерживается ни googlebot'ом, ни slurp."
Скорее всего вэбмастер изучил инструкцию на Яндексе, как составлять robots.txt, а потом по аналогии составил для других поисковиков.
Сегодня я обратил внимание, что проиндексированная страница находится в директории "search", обычно всей сайты закрывают эту директорию от индексации. Я на всякий случай проверил robots.txt на сайте Habrahabr
UPD:
Спросил про этот баг на форуме Searchengines.ru и получил ответ:
"Обычная ошибка.
Бояться тут нечего и некого.
Да и вообще robots составлен делетантом:
Ибо директива Host не поддерживается ни googlebot'ом, ни slurp."
Скорее всего вэбмастер изучил инструкцию на Яндексе, как составлять robots.txt, а потом по аналогии составил для других поисковиков.
Комментариев нет:
Отправить комментарий