24 и 25 сентября в Иннополисе, расположенном недалеко от Казани, проходила VI Международная SEO Conference 2015.

Мероприятие - традиционно признано одним из самых масштабных и авторитетных мероприятий в мире SEO и интернет-маркетинга. В прошлом году в конференции приняли участие такие известные компании, как Google, Mail.ru, Яндекс, «ВКонтакте», Aviasales, WikiMart, Sape, Ingate, Kokoc и многие другие.

Конференцию открыл Михаил Сливинский (Wikimart), представив доклад на тему «Наблюдения в поисковой выдаче».

Спикер начал с констатации малоприятного для всех представителей отрасли факта: в последние несколько месяцев поисковая выдача Яндекса стала очень нестабильной. В ней наблюдается такой шторм, что какие-либо действия оптимизаторов, направленные на улучшение позиций сайтов и исследование поисковой выдачи, стали не заметны вообще.

Далее Михаил Сливинский привёл слайд с общей статистикой за последние три квартала по различным сегментам отраслей, согласно данным Wordstat:

Как видно из скриншота, ситуация несколько ухудшилась в таких сегментах, как: электроника, бытовая техника, компьютеры, авто. В то же время, есть и эффективные категории: всё для дома, сад, инструменты, детство, спорт – пока это именно те категории, в которых можно развиваться, и где есть спрос.

В сервисе Wordstat недавно появилась возможность, которая позволяет анализировать только мобильные запросы. То есть теперь можно посмотреть, сколько запросов пользователи задают в целом, и сколько запросов они задают исключительно из мобильного поиска. По итогам проверки нескольких категорийных запросов автору удалось выделить долю мобильного спроса по интересующим категориям:

Здесь все также логично и объяснимо. Задумываясь над тем, как интерпретировать данные Wordstat, становится понятно, что часть запросов совершают боты. В одной из научных статей Яндекса напрямую говориться о том, что из 200 млн. запросов, которые поступают в поисковую систему ежедневно, примерно 30–40 млн. совершают роботы.

Имея в виду это условие, докладчик исходил из того, что при доле коммерческого трафика ~8% на коммерческие запросы приходится всего ~16 млн. запросов в сутки. При этом роботы генерируют 30-40 млн. запросов ежесуточно. Доля коммерческого трафика в общей доле поискового трафика Рунета определяется, исходя из отношения величины поискового трафика на категорию «Товары и услуги» к суммарному в рейтинге Liveinternet.ru. В допущении отдельно учитывается, что кликогенерация по коммерческим запросам приблизительно соответствует средней по всему потоку запросов. Картина получилась примерно следующая:

Кроме того, в последнее время в поиске нередко встречаются ситуации, когда в индексе поисковой машины появляется документ, который ещё не богат на поведенческие характеристики. Соответственно, всегда находятся документы, у которых более богатые поведенческие характеристики, и они обходят новичков в индексе при прочих равных условиях. Заработать первые поведенческие можно несколькими способами: 1. купить поисковую рекламу (это хорошее действие для коммерческого сайта); 2. должны произойти определённые действия со стороны поисковой системы: так Яндекс попытался предсказать поведенческие факторы и разрешить некоторую ротацию в выдаче.

На графике, представленном выше, отложено суммарное интегральное количество хостов по Яндексу и Google. Как видно, в июле-августе количество заметно «приросло». В июле увеличилось количество уникальных хостов в топ-4 - топ10, а осенью – в топ 3. Поиск пробовал эту технологию по разным сегментам в разные сезоны.

Параллельно происходила следующая вещь: на 35 неделе у многих сайтов хорошо «приросла» индексация по Яндексу.

Хорошо приросли в индексе и сайты с высоким тИЦ (то есть авторитетные ресурсы), а также «возрастные» сайты. Молодые сайты приросли довольно слабо.

Интереснее всего, что в выборке оказалось 86 сайтов, зарегистрированных в 80-х годах. Среди них: ge.com, ibm.com, boeing.com, mit.edu, hp.com, intel.com, polaroid.com, ericsson.com, ford.com, bbc.com, philips.com, sony.com, oracle.com и другие.

Это привело к тому, что полнота Яндекса, по данным Analyzethis.ru, заметно выросла. Иными словами, поисковая машина расширила свой индекс, для того, чтобы существенно обогатить опыт пользователей.

Интерпретировать ситуацию можно так: представители поиска решили добавить больше документов в выдачу, чтобы пользователям было, из чего выбирать.

В то же время, по данным «Нейрон», доля пустых SERP в Яндексе упала незначительно:

Как видно, разные инструменты дают разные оценки, и надо постоянно работать над интерпретацией, чтобы сделать для себя важные наблюдения.

Так что же делать, когда выдачу так «штормит»? В целом, оптимизаторы много работают,  однако те колебания, которые создаёт Яндекс в поисковой выдаче, в разы сильнее, чем все усилия специалистов. Поэтому многие решения и эксперименты сводятся на нет.

Чтобы проверить, есть ли схожесть в поведении у похожих хостов, и выявить какие-либо закономерности, было решено использовать метод кластеризации:

Как видно, у ряда сайтов резко менялась видимость с 28 апреля по 3 мая. С чем именно это связано – остаётся непонятным, однако прослеживать такие закономерности очень важно.

Сделав выборку по трём кластерам, получили следующую картину: для большей части сайтов поведение укладывается в 3 паттерна, а динамика получилась очень разнонаправленной.

Однако, как показывают графики, изменения являются системными и регулярными. Это означает, что традиционное SEO в концепции «получить положительную динамику, продвигая сайт по запросу» больше существовать не может. Важно смещать акценты. Возможно, специалистам имеет смысл переориентироваться в сторону аналитики.

«По мере продвижения сайта вниз по ТОПу, поведенческие метрики улучшаются, и наоборот. После того, как Яндекс «подмешал» в выдачу новые документы, закономерность практически не изменилась.

И всё-таки важно усвоить, что те изменения, которые мы видим – с нами надолго. Это значит, что в будущем оптимизаторам и владельцам сайтов придется жить в новых условиях», – подытожил Михаил Сливинский.

Вопрос из зала: На какой выборке сайтов получали статистику?

Михаил Сливинский: Исследовали 5 тысяч хостов. Это агрегированные хостовые поведенческие данные на топ. Статистика бралась по Similarweb.