Недавно на форуме Рамблера я обнаружил заметку Влада Шабанова о интересной фиче для файла robots.txt, которая давно разработана Рамблером и поддерживается в каждой новой версии робота Рамблера.На вопрос "какие еще недокументированные фичи существуют у Рамблера при обработке robots.txt?" Влад Шабанов ответил, что других недокументированных фич нет.
Обсудить
Читайте также
КОНТЕКСТ.ru - это новостной сайт нового формата, посвященный контекстной рекламе и рекламе в интернете. Управление сайтом осуществляется самими участниками
Комментарии