Так получилось, что я давно занимаюсь продвижением различных порталов, интернет-СМИ, больших каталогов и интернет-магазинов. Разобраться с индексацией, убрать лишнее, устранить ошибки, оптимизировать множество шаблонных внутренних страниц, правильно перелинковать – этим я занимаюсь уже лет семь.

Коллеги, клиенты и даже конкуренты время от времени задают мне вопрос «Как ты это нашел?!». Чтобы облегчить всем жизнь, я решил поделиться несколькими простыми способами поиска ошибок, проиллюстрировав их примерами.

Все перечисленные ниже способы я рекомендую использовать параллельно – так можно почти гарантированно найти все проблемы на любом сайте.

Отлично помогает найти ошибки на сайте с точки зрения поисковых систем отключение поддержки java-скриптов в браузере. Появляется возможность взглянуть на сайт «глазами» поисковых роботов. Нужно пройтись по разделам сайта и убедиться, что навигация по сайту работает без поддержки java-скриптов, и позволяет поисковым роботам попасть на любую страницу сайта.

Такой метод позволяет находить ошибки с точки зрения индексации поисковиками в самых неожиданных местах. Один из недавних примеров: навигация по страницам с адресами торговых точек на одном крупном сайте не работала вообще без поддержки java-скриптов, соответственно, поисковые роботы просто не могли добраться до этих страниц.

После того, как уже составлено примерное представление о сайте, есть четкое представление о структуре его адресов, можно приступать к следующему шагу – изучению числа проиндексированных страниц сайта поисковыми системами (я лично предпочитаю смотреть на индексацию в Яндексе).

Нужно просто смотреть на данные от поисковой системы по всем страницам подряд – следить нужно за титульными фразами и адресами проиндексированных страниц сайта. Просматривая их, нужно искать все «необычности», например, странные адреса, титульные фразы, отличающиеся от обычных, адреса с метками, адреса с результатами сортировки и так далее.

Подобные страницы нужно открывать, изучать их и анализировать. Если эти страницы действительно не должны индексироваться (служебные страницы, некорректные или просто ошибочные и пустые страницы), то нужно выяснить, кто на них ссылается и почему. Тут хорошо помогает оператор inurl в поисковой системе – он позволяет находить все проиндексированные страницы с адресами нужного вида (например, оператор inurl:razdel позволит вывести на экран список всех страниц, в адресах которых есть razdel). Так можно оценить масштаб беды – бывали случаи, когда в базе поисковых систем было по несколько сотен тысяч страниц некорректных страниц.

Составляем табличный файл с указанием всех типов страниц на сайте. Лучше всего сделать так, чтобы структура страниц сайта была визуально понятна. Для каждого типа страниц нужно указать пару страниц сайта в качестве примера. В зависимости от размера сайта у получится список из нескольких десятков страниц с разными адресами (реже – нескольких сотен).

Дальше все просто: с помощью операторов inurl нужно проверить качество их индексации (снова поиск «необычностей» как описано выше, но уже для каждого типа страниц в отдельности). Так можно найти еще несколько ошибок с индексацией.

Кстати, этот же список страниц можно использовать при подготовке шаблонных рекомендаций по оптимизации страниц сайта (титульные фразы, мета-теги, заголовки, шаблонные текстовые блоки и так далее).

Ну а теперь следует список наиболее распространённых ошибок с точки зрения индексации поисковых систем. Эти ошибки можно найти на сайтах любого уровня – от небольших региональных проектов до крупнейших e-commerce проектов рунета. Думаю, никому будет нелишним пройтись глазами по списку и проверить свои сайты на их наличие.

1. Ссылки дубль главной страницы

Традиционно некоторые разработчики сайтов любят направлять пользователей, пытающихся перейти на главную страницу сайта, на ее разнообразные дубли. Нужно внимательно проверять ссылки на главную страницу в «шапке» сайта (на логотипе) и в «хлебных крошках» – там эти ошибки встречаются чаще всего. Ссылка на главную страницу должна вести на http://www.site.ru, а не на site.ru/ru, site.ru/main, site.ru/default.aspx и так далее (это не относится к случаям, когда адрес главной страницы сайта изначально другой, например, site.ru/rus/).

Иногда попадаются и более сложные конструкции, так, мне попадались сайты со ссылками на дубли главной страницы, с которых настроены редиректы на главную страницу.

2. Некорректная работа листингов

На сайтах с большим количеством страниц для навигации между страницами используются так называемые листинги (или пагинация). Например (на скриншоте выделено красным):

В 90% таких листингов встречается одна и та же ошибка: со всех следующих страниц листингов (второй, третьей, …) ссылки на первую страницу листинга (она же главная) ведут не на корректную страницу, а на ее дубль.

Как я уже писал, эту ошибку можно встретить на сайтах самого разного уровня. Вот, например, эта ошибка на сайте Утконоса:

На первую страницу листинга http://www.utkonos.ru/cat/3/ со следующих страниц листинга уже нельзя – можно попасть только на ее дубль http://www.utkonos.ru/cat/3/pg1/chp3/.

3. Адреса страниц со слешами в конце и без

Часто одни и те же страницы на сайте доступны по разным адресам (пусть и отличаются между собой эти адреса только наличием или отсутствием в конце закрывающего слеша).

Хорошо убедиться, что в навигации по сайту участвуют только страницы одного типа (например, с закрывающим слешом). Я постоянно вижу решения, при которых в навигации на некоторых разделах участвуют страницы с адресами одного типа, но при переходе к ним происходят редиректы на страницы с адресами второго типа. Надеяться при этом на то, что поисковые системы будут нормально индексировать сайт, не стоит.

Автор: Андрей Кузьменков,

генеральный директор Digital Guru