Представитель команды помощи вебмастерам Google Джон Мюллер на своей странице в Google+ напомнил вебмастерам, что для файлов robots.txt установлен лимит по объёму в 500 Кб.

В комментариях к сообщению было отмечено, что даже у Google этот файл весит всего 6,43 Кб, поэтому аналогичный документ, занимающий полметра пространства, - это случай из разряда фантастики. Однако Мюллер заметил, что и такое может произойти, к примеру, если CMS сайта самостоятельно создаёт файл robots.txt.

Если ваш файл robots.txt всё же превышает установленный размер, то в любом случае поисковый робот прочитает лишь первые 500 Кб. Кроме того, такие тяжеловесы могут привести к ошибкам индексации, и ваш сайт будет терять позиции в результатах поиска Google.