Лидер поиска Google обновил свой файл robot.txt для предотвращения индексирования собственных страниц поисковой выдачи роботом Googlebot.

В течение последних нескольких недель появлялись различные сообщения пользователей о том, что Google нарушает свое же руководство для вебмастеров (webmaster guidelines), индексируя собственные результаты поиска.

Согласно руководству Google, необходимо использовать robot.txt для предотвращения сканирования страниц поисковой выдачи или других автоматически генерируемых страниц, которые не представляют особой ценности для пользователей поисковых систем.

Редактор Search Engine Land Барри Шварц (Barry Schwartz) рассказал о том, что издание попросило Google прокомментировать сообщения пользователей. Представитель компании ответил, что это – глюк, связанный с несколькими слешами в веб-адресах, и разработчики уже работают над его устранением. После чего лидером поиска было произведено изменение файла robot.txt в google.com/robots.txt.