1 марта 2016 года в Москве прошла конференция ConversionConf 2016: трафик, конверсии, продажи. 

В этом году организаторы разделили программу мероприятия на тематические секции, посвященные ключевым этапам онлайн продаж: стратегии, трафик, конверсия, допродажи.

В рамках ConversionConf Елена Фирсова, директор по продукту Origami, представила доклад на тему: «Шахматное тестирование стратегий управления ставками».

По словам докладчицы, сегодня тесты, проведённые платформой Origami, явно свидетельствуют о том, что от 20% до 50% рекламных бюджетов расходуются неэффективно. При этом бюджет на рекламу расходуется ежемесячно. Таким образом, компании, которые не используют системы автоматизации, регулярно «сливают» бюджеты впустую.

В то же время, сегодня на рынке существует большое разнообразие инструментов для оптимизации конверсий, разработаны точные методы измерения эффективности рекламных кампаний. 

Глобально эти методы можно разделить на 2 больших класса: методы последовательного тестирования и методы шахматного тестирования.

Данный подход позволяет фиксировать результаты до запуска теста и после. Ключевым моментом здесь становится замер показателей и их последующее сравнение. 

Главным преимуществом последовательного тестирования становится простота реализации метода. Однако он имеет и ряд недостатков. К примеру, таким методом нельзя тестировать сезонные кампании. Сильное влияние на исход тестирования оказывают внешние факторы. Нет возможности вносить изменения в ходе тестирования.

Cуть данного метода заключается в настройке таргетинга в виде шахматной доски, когда на протяжение одного часа реклама показывается, а на протяжение второго – не показывается. Основная суть сводится к тому, чтобы при запуске кампании чередовались. 

По замечанию докладчицы, этот метод лишен тех недостатков, которым обладает метод последовательного тестирования.

Шахматное тестирование можно разделить на 3 популярных сегодня вида:

1. Классическое тестирование, когда при показе рекламы выстраивается классическая шахматная доска.

2. Тестирование «зеброй», когда одна кампания показывается по четным часам, а другая – по нечетным. Это особенно удобно, когда есть необходимость с кем-либо из заказчиков.

3. Тестирование, когда одна кампания показывается по четным дням недели, а другая – по нечетным.

Рассматривая подход, Елена Фирсова отдельно отметила, что для максимально точного измерения результата лучше использовать классический вариант тестирования - в виде шахматной доски.

Какой бы способ ни выбирал рекламодатель, в среднем тест занимает около месяца.

На первом этапе осуществляют копирование кампаний – важно создать 2 копии одной и той же кампании. При этом анализировать лучше кампании, по которым за последние 2 недели было осуществлено, хотя бы, 60 конверсий. Кампанию делят на 2 части. Таким образом выходит, что на каждую приходится по 30 конверсий. При этом важно, чтобы обе кампании были новыми, тогда стратегия управления ставками будет осуществляться в равных условиях. Желательно делать копирование с сохранением CTR.

Далее следует простой этап предварительной подготовки: нужно переименовать кампании; настроить временной таргетинг по принципу «шахматки»; остановить старую кампанию и запустить две новые.

Затем в течение 2 недель кампании будут показываться поочередно – то одна, то другая. Этот период является обязательным в случаях, когда тестируется оптимизатор конверсий. Если же анализируют встроенные стратегии Яндекс или Google, то этот этап необязателен.

После этого можно запускать тест с применением двух различных стратегий. Этот этап также длится 2 недели. Обе кампании работают практически одновременно и отличаться они будут только принципом управления ставками. На них одинаково будут влиять такие факторы, как: сезонность, погода и экономические аспекты. 

Если есть необходимость внести изменения в кампании, сделать это возможно. Однако важно вносить такие изменения одновременно. В этом случае кампании будут сравниваться в максимально близких условиях.

На заключительном этапе происходит сравнение результатов по обеим кампаниям и выбор кампании-победителя. Однако важным моментом здесь выступает поверка теста на достоверность:

Расчет статистической достоверности первого теста на слайде указывает на то, что результаты тестирования объективны лишь на 86,1%. Это слишком низкий показатель: доверять результатам тестирования можно лишь в случае, когда показатель статистической достоверности – выше 95%. Для проверки статистической достоверности можно использовать специальный калькулятор. Подобные готовые инструменты можно легко отыскать в интернете.

В завершении своего доклада спикер представила несколько практических кейсов. Так, на слайде ниже приводятся результаты тестирования двух различных стратегий назначения ставок в Яндекс.Директе:

Цель тестирования - сравнить, как работает стратегия показ в блоке по минимальной цене и стратегия наивысшая доступная позиция в одинаковых условиях, с одинаковыми максимальными ставками. Результат теста показал, что при использовании стратегии наивысшая доступная позиция цена клика оказалась выше, однако получили гораздо больше конверсий, при этом CPA оказался ниже.

Результат теста для компании «Сталь Про» показал, что стоимость одной конверсии можно снизить на 22%, не сокращая количество конверсий.

Таким образом, при ручном управлении кампаниями до 22% рекламного бюджета клиента тратилось неэффективно.

В следующем кейсе работа системы оптимизации назначения ставок, которая функционирует на основе правил, сравнивалась с работой оптимизатора конверсий, который работает по портфельной теории. Тест показал, что кампании, которые управлялись на основе оптимизации по правилам, показали такую же стоимость конверсий. В то же время, для кампаний, которые управлялись оптимизатором конверсий, число конверсий было выше.

Подводя итог выступления, Елена Фирсова отметила: «Действительно эффективные оптимизаторы конверсии существуют, важно тестировать их».