Не так давно, в сентябре текущего года, на отечественном рынке поиска произошло весьма примечательное, на мой взгляд, событие. Яндекс объявил о тестировании нового подхода к определению релевантности документов. В частности, в анонсе говорится о том, что «имеет смысл периодически показывать в области видимости документы, по которым пользовательской информации недостаточно для принятия решения о полезности документа». То есть речь идет о том, чтоб периодически подмешивать в топы поисковой выдачи документы, релевантные запросу, но ранжирующиеся недостаточно высоко, для того, чтобы получить информацию об их кликабельности и учесть ее в последующем ранжировании.

На мой взгляд, таким образом происходит знаковый поворот в изменении природы кликовых факторов ранжирования в Яндексе. Если раньше естественным образом воздействовать на них могли только те сайты, которые находились в зоне видимости пользователя Яндекса, занимая топовые места в результатах поиска по целевым запросам, то теперь естественные клики из поисковой выдачи потенциально может получить любой сайт соответствующей тематики. Что, в том числе, должно решить проблему консервации топов, обусловленную положительной обратной связью кликовых факторов в их классическом применении.

Впервые о возможности учета различных параметров поведения пользователей интернета в ранжировании сайтов сотрудниками Яндекса было заявлено в 2008 году на семинаре Игоря Кураленка «Как пользователи могут влиять на ранжирование». В анонсе семинара указывалось, что «речь пойдет о том, как клики и последовательности запросов пользователей могут непосредственно влиять на ранжирование результатов веб-поиска». В обзоре семинара в рассылке "Продвижение сайта. Профессиональные советы экспертов" содержится следующая информация: «Прозвучал на семинаре термин «голосующий клик». Если определенное количество разных пользователей кликают на один и тот же сайт в выдаче по одному и тому же запросу, то их клики становятся «голосующими» и их можно учитывать при ранжировании сайта». Таким образом факторы, учитывающие кликабельность (CTR) спиппета в поисковой выдаче, позднее получившие название кликовых, определены как перспективные для учета в ранжировании сайтов.

Поведенческие (или пользовательские) факторы ранжирования принято делить на две большие группы – кликовые, или внешние (учитывающие поведение пользователя на странице поисковой выдачи и связанные с кликами по сниппету ранжируемого сайта) и факторы «за посещаемость», или внутренние (учитывающие поведение пользователя непосредственно на страницах ранжируемого сайта).

На основе ретроспективного анализа изменений алгоритма ранжирования Яндекса, можно сделать предположение, что поведенческие факторы ранжирования были введены Яндексом в апреле 2009 года в релизе алгоритма ранжирования под названием «Арзамас». Причем речь идет именно о кликовых факторах, как наиболее простых в плане сбора информации. Факторы, учитывающие поведение пользователей непосредственно на сайте, судя по всему, были введены в алгоритм позднее, с расширением дистрибуции яндексовских сборок различных браузеров и надстроек к ним (Яндекс.Бар, позднее «Элементы Яндекса»), позволяющих собирать необходимую информацию.

Интересный обзор поведенческих (в том числе и кликовых) факторов на основе анализа англоязычных источников был опубликован в 2012 году. На его основе можно предположить, что кроме собственно CTR сниппета ранжируемого сайта, могут учитываться различные параметры пользовательских сессий, как запросозависимые, так и нет, учитывающие и количество кликов в сессии, и временные интервалы между ними, и очередность кликов по сниппету ранжируемого сайта/документа (например, первый или последний), и т.д.

Что же касается официально задокументированных источников информации по кликовым факторам непосредственно от Яндекса, то здесь необходимо упомянуть следующие:

В 2012 году на конференции “ACM International Conference on Information and Knowledge Management” (CIKM 2012) сотрудники Яндекса представили доклад «Session-based Query Performance Prediction», в котором привели ряд кликовых факторов для поисковой сессии, таких как:

и др.

В 2013 году сотрудниками Яндекса на конференции “ACM Internationl Conference on Information and Knowledge Management” (CIKM 2013) был представлен доклад «Through-the-looking glass: utilizing rich post-search trail statistics for web search», официальный текст которого находится в платном доступе (в сети также можно найти копии текста доклада в открытом доступе). Отдельный интерес представляет официальное упоминание конкретных кликовых факторов ранжирования, таких как

Кликовые факторы ранжирования сразу же после их введения в алгоритм получили очень большой вес. Практика 2009-2011 годов показывала, что относительно небольшое количество искусственных кликов в поисковой выдаче по ссылкам на документы, находящиеся за пределами первой страницы, в достаточно короткий срок (один-два месяца) позволяли вывести их в топы выдачи по соответствующим запросам. Появились сервисы, предлагающие услуги по накликиванию результатов поиска. Яндекс долгое время закрывал на это глаза, однако в мае 2011 года объявил о вводе санкций за эмуляцию действий пользователей, в частности указав, что «чаще всего это происходит с помощью программ, которые задают запросы в поисковую систему и потом переходят на определенные сайты». Был показательно подвергнут санкциям ряд сайтов, что позволило на некоторое время справиться с проблемой эмуляции кликов по результатам выдачи. Однако, через некоторое время методы эмуляции кликов видоизменились, в частности, на смену автоматическому накликиванию результатов поиска с помощью специальных программ, пришла целая индустрия привлечения реальных пользователей за вознаграждение для выполнения определенных заданий по переходам на сайты в поисковой выдаче (т.н. «мотивированные клики»).

В декабре 2013 года Яндекс повторно заявил о санкциях за подобные действия. Индустрия накрутки поведенческих факторов снова получила ощутимый удар, от которого ей, однако, помогло достаточно быстро оправиться объявление Яндекса в марте 2014 года об отмене учета ссылочных факторов по коммерческим запросам. Сервисы по накрутке ПФ развернули масштабную пиар-компанию, представляя себя в качестве единственной альтернативы платным ссылкам, как методу гарантированного и быстрого попадания в топ поисковой выдачи.

Это вынудило Яндекс в мае 2014-го сделать еще одно заявление о недопустимости использования сервисов эмуляции действий пользователя. В декабре 2014 года произошло масштабное применение санкций к сайтам, прибегавшим к услугам по накрутке ПФ. Эти сайты, счет которым идет на сотни, если не на тысячи, были отброшены глубоко в подвалы поисковой выдачи по всем запросам. Снятие санкций с тех сайтов, кто сразу же прекратил накрутку, началось только этой осенью, то есть более чем через полгода после их наложения. Все это свидетельствует о крайне серьезном отношении Яндекса к данному вопросу.

Очень сильно надеюсь, что сервисы накрутки ПФ от последнего удара так и не смогут оправиться. Красноречивым, пусть и косвенным, свидетельством того, что удар этот был очень болезненным для индустрии накрутки ПФ, на мой взгляд, является весьма эмоциональный доклад владельца одного из подобных сервисов Романа Морозова на казанской SeoCoference’2015 в сентябре этого года, в котором он предрекал скорую потерю Яндексом лидирующей позиции на поисковом рынке Рунета и призывал переориентироваться в накрутке поведенчеcких факторов на Google. К слову сказать, Google никогда официально не признавал учет поведенческих факторов в ранжировании. Более того, отдельные сотрудники Google прямо заявляли, что такого учета нет, например, один подобный случай я описывал в своей статье «Поведенческие и социальные факторы в Google: to be or not to be?»

Возвращаясь к Яндексу, мне очень хотелось бы надеяться, что новый подход к учету кликовых факторов даст реальный шанс многим сайтам на естественное воздействие на них. В этом плане еще большую значимость приобретают грамотная настройка сниппетов и работа по удержанию на сайте пользователей, пришедших из поисковой выдачи.