26-27 ноября 2015 года в Москве проходила крупнейшая в SEO-отрасли конференция – Optimization-2015. Поисковый маркетинг и продвижение бизнеса в интернете.

В рамках первого дня мероприятия Андрей Калинин, руководитель проекта Поиск в Mail.Ru Group, представил доклад на тему «Интерливинг поисковой выдачи», в котором поделился со слушателями тонкостями формирования выдачи поисковой системы.

В своём выступлении спикер отдельно подчеркнул факт того, что при разработке поисковой системы, важнейшей задачей становится оценка качества поиска. Первое, что необходимо сделать, запуская поисковик, – это отобрать запросы, по которым будет оцениваться выдача. Если пользователей нет, то, соответственно, нет и поисковых запросов. Это значит, что оценить качество поиска очень трудно. Когда запросы уже есть – их можно анализировать.

Вторым важным моментом становится асессорская оценка. Сами по себе асессоры никак не влияют на поисковую выдачу, они просто ее оценивают. Критически важным моментом здесь становится разработка инструкции, ведь если документ не будет полным и детальным, то погрешность оценки будет очень большой. Так, например, сегодня инструкция Google для асессоров находятся в свободном доступе в интернете.

По своей сути, инструкция – это фиксирование тех факторов, которые поиск считает хорошими и качественными. Сама по себе инструкция для асессоров – документ небольшой и довольно простой. В этом и состоит главный минус: в инструкциях могут быть сознательно опущены отдельные нюансы, которые могут оказаться критически важными для анализа отдельных групп запросов. Если инструкция не может быть полной по определению, то это означает, что асессорская оценка имеет определённую погрешность. Молодому поисковику такой оценки обычно хватает, но через какое-то время она перестанет помогать в той мере, в которой это было ранее.

Однако не всегда выдача создается путем оценки запросов: зачастую происходит и обратный процесс, когда выдача формируется на основе анализа поведения пользователей. Первым этапом здесь является анализ кликов: можно измерить, сколько времени пользователь проводит на выдаче до совершения первого клика, а можно посмотреть, по каким результатам выдачи пользователи не кликают вообще.

Если перед нами 2 варианта поисковой выдачи, то мы можем сравнить результаты путём A/B тестирования или сплит-тестирования. Это очень хороший способ оценки, и зачастую он намного точнее, чем асессорская оценка. Однако здесь тоже встречаются определенные погрешности.

Если показывать одни и те же результаты разным пользователям, то в зависимости от их поисковых потребностей показатель кликов для одних и тех же страниц будет разным. Второй способ сводится к тому, чтобы показывать разную выдачу одному и тому же человеку. Именно такой подход и получил название интреливинг. Если говорить в общем, то пользователю показывают 2 URL-а сайта (к примеру, страницу контактов и главную страницу сайта) и смотрят на клики.

Примером интрерливинга могут служить варианты анализа выдачи, когда в рамках одной результирующей страницы размещается равное количество результатов с каждой стороны. В итоге, один результат приходит из левой выдачи, второй из правой и так далее. Это позволяет делать выдачу гораздо более разнообразной и интересной пользователю. Если испытуемый кликает по документам 3 и 6, как показано на рисунке, – это свидетельствует, что ему нравится «правая» выдача. Если же по документам 4 и 5, то, соответственно, ему больше импонирует правая выдача. Если он кликнул по документу, который присутствует в обеих выдачах, то выигрывает та, в которой этот результат оказался выше.

При этом сам пользователь не знает, что над ним проводят такой эксперимент. Фактически ему задают скрытый вопрос о том, какую SERP лучше выбрать для показа. Так, например, если взять высокочастотный запрос [вк], то результаты будут следующими:

По логике, если пользователь вводит запрос [vk.com], то результата [vkontakte.ru] в SERP быть не должно. Однако в ходе исследований удалось установить, что выдача, в результатах которой присутствует [vkontakte.ru], собирает на 9% больше кликов, чем выдача, в которой такого результата нет. По оси X на графике, представленном выше, обозначено время, а по оси Y – «перекос» в доле кликов. То есть график показывает разницу между двумя выдачами.

Далее спикер рассмотрел ещё один популярный запрос [переводчик онлайн]. Здесь распределение кликов в SERP выглядело так: те выдачи, где Переводчик Google находится на первом месте, всегда выигрывают в плане пользовательских предпочтений.

Ещё один запрос [усманова инстаграм] – с точки зрения релевантности, слева представлены наиболее точные результаты выдачи по запросу, однако на практике пользователи практически не кликают по этим результатам. В правой выдаче вторым документом размещена статья о фитнесе. Казалось бы, результат не релевантен запросу, тем не менее, пользователи охотно кликают по нему.

Если проанализировать выдачу по запросу [интересные факты о нюрнбергском процессе], то картина получается следующая: казалось бы, люди ищут информацию о самом процессе, однако часто кликают на ссылку [интересные факты о Нюрнберге]. Как видно, более релевантной окажется выдача справа, однако более полной и интересной пользователю можно признать выдачу, размещённую на слайде слева.

Можно сделать вывод о том, что релевантные результаты выдачи в целом удовлетворили пользователя, однако ему интересны и другие сведения. Сегодня в отрасли полностью сформировалось такое понятие как запрос-витрина, когда подход релевантности очень низкий. Это значит, что не всегда нужно делать перекос только в сторону релевантности: в результатах поиска полезно показывать больше актуального и интересного контента.

Ещё один запрос [оформление стеклянных витрин к новому году] показывает, что в выдаче явно присутствуют нетематические блоки, но они интересны пользователям.

Что касается запроса [шаг вперед конкурсы для воспитателей и детей], то первые 4 варианта результатов в SERP – вполне релевантные. Если верхние результаты призваны отвечать на дополнительные запросы пользователей.

По мнению, Андрея Калинина, разнообразная выдача всегда лучше воспринимается пользователем, чем исключительно основанная на релевантности.

Сам принцип классификации результатов в выдаче существует с 2002 года, однако активно использовать интерливинг в Поиске@Mail.ru начали с 2008 года. Результатом внедрения интерливинга стало то, что объёмы асессорской оценки теперь сведены к минимуму. На этой же модели в компании строятся вертикали поисковой выдачи. Таким образом, в ранжировании вся выдача по высокочастотным запросам стала «табличной». Это значит, что по запросу пользователя показывается заранее заготовленная выдача. Чтобы эта выдача «не застоялась» в эксперимент постоянно попадают новые документы. Для работы с низкочастотными запросами такой подход не используется.

Что же касается асессорской оценки, то она сегодня применяется для анализа:

Вопросы из зала:

Игорь Ашманов: Мне показалось, что в доклад зашито неявное предположение о том, что больше трафика – значит, лучше. Выиграет та выдача, которая мультиплицирует трафик. Получается, что в выдачу могут попасть результаты из серии «шок», «фото» и подобное?

Андрей Калинин: Мы не увеличиваем количество кликов, нас интересует клик на максимально высокую позицию. Поэтому первый результат должен быть релевантным. Соответственно, результат на первой позиции должен отвечать на запрос пользователя. Но, когда поиск уже ответил на запросы пользователя, можно показать несколько более разнообразные результаты выдачи. При этом они связаны с поисковым запросом, просто не отвечают на него напрямую.

Дмитрий Севальнев: Хотелось бы уточнить, какую метрику вы оптимизируете с технической точки зрения? Это доля кликов на одного пользователя или доля пользователей, которые не кликнули ни на один из результатов?

Андрей Калинин: Единой метрики у нас не существует. Конкретно по тому графику, который был показан в ходе выступления, отслеживаются сложные случаи в плане вероятности кликов.

Дмитрий Севальнев: Тогда у меня еще один вопрос, какой показатель был изображен в метрике возрастающим?

Андрей Калинин: Это вероятность совершения клика в обоих вариантах выдачи.