Платон Щукин опубликовал в своем блоге пост, в котором подробно рассказал о том, что должен делать вебмастер для того, чтобы страницы его сайта были успешно проиндексированы роботом, и, как следствие, могли появиться в поиске Яндекса и находиться по соответствующим запросам.

Алгоритм действий несложен и состоит из пяти шагов:

1. Проверка HTTP-заголовков, передаваемых сервером

2. Создание файла robots.txt и запрета в нем обхода технических и служебных разделов сайта

3. Проверка возможности проставления ошибочных ссылок на сайт

4. Работа с дублями и динамическими страницами

5. Создание файла sitemap