Автор: Андрей Белоусов, управляющий партнер HTraffic.ru, директор по технологиям К50

Допустим, рекламодатель хочет мотивировать своего сотрудника премиями за результат. Или нанять агентство, платя ему не часть бюджета, не почасовку, а в зависимости от результатов работы. Как тогда вычислить эффективность работы в контекстной рекламе?

Мы с Максом Уваровым, в рамках К50 Labs решили попробовать ввести новую услугу: построение статистических моделей специально заточенных под сайт. Благодаря этим моделям мы можем очень прогнозировать вероятность конверсии и размер среднего чека, а значит и более точно расставлять ставки.

Проблема этой услуги в том, что польза от нее неочевидна для большинства клиентов. Поэтому для этой услуги хорошо подходит схема оплаты за результат. Однако в контекстной рекламе подобной схемы не было, ровно как и какой-то численной оценки результатов оптимизации.

Это плохо, поскольку исполнитель не имеет четкой обратной связи и не может оценить насколько улучшила эффективность его работа. С другой стороны, заказчик не может платить за результат или премировать своих работников в зависимости от результата.

Далее, для простоты, предположим, что цель рекламодателя - максимум конверсий, при фиксированной средней стоимости конверсии (CPO, CPA). В конце статьи будет ссылка на калькулятор, который может считать и при других условиях.

Если CPO до и после оптимизации одинаковое, то вычислить эффективность оптимизации довольно просто. Нужно просто вычесть прошлое число конверсий из текущего. Мы получим число «бесплатных» конверсий, которое мы получили благодаря оптимизации. Число конверсий, которое мы получим без увеличения CPO.

Это число можно перевести в деньги, просто домножив на CPO. Таким образом, мы получим оценку результатов оптимизации. По сути, мы получим увеличение расхода, к которому привела оптимизация. Поскольку ROI = Прибыль/Расход, то Прибыль = ROI * Расход. При равном CPO, ROI тоже будет одинаковым, то оптимизация принесет следующую прибыль:

Если это число домножить на какой-то процент, например на 25%, то мы получим вознаграждение исполнителю.

Например, у нас было 1000 конверсий стало 1200. CPO=10$. ROI=2. Получим оценку в (1200-1000) * 10$ * 2 = 4000$. Если процент равен 25%, то вознаграждение будет равно 1000$.

Например, есть рекламная кампания, которая приносила 1000 транзакций со средней стоимостью транзакции (CPO) равной 10$. Вы наняли исполнителя и поставили ему задачу оптимизировать кампанию. После первого месяца оптимизации CPO сократился до 6$, а число транзакций до 700.

Как оценить эффективность его работы? Какую премию ему дать?

Проблема в том, что в контекстной рекламе очень легко поменять ставки. Например, увеличить их вдвое. Поэтому и эффективность рекламной кампании в большинстве случаев нельзя выразить одним числом. Только некоторой кривой, например, зависимостью числа конверсий от CPO.

Перескочить с одной точки этой кривой на другую довольно легко. Нужно просто увеличить или уменьшить все ставки в одинаковое число раз.

Построим две кривых эффективности до и после оптимизации:

Посчитаем сколько мы получаем «бесплатных» конверсий благодаря оптимизации.

Поскольку премию выдается деньгами, а не конверсиями, нам нужно перевести как-то бесплатные конверсии в деньги. Самый простой способ - домножить число бесплатных конверсий на текущий CPO.

Получим, что эффективность выражена площадью прямоугольника одна сторона которого - число бесплатных конверсий, а вторая - текущий CPO.

Однако, площадь этой фигуры зависит от текущего CPO, поэтому мы перестроим фигуру основываясь на том CPO, который был до оптимизации:

Таким образом, мы получили оценку эффективности оптимизации в деньгах, которая не зависит от текущего CPO.

Поскольку часть рекламодателей не знает свой ROI, то мы будем использовать формулу без ROI. Если вы знаете свой ROI, то нужно домножить на него процент.

Для упрощения предположим, что после оптимизации, кривая эффективности выросла в определенное число раз.

Например, если U=2, то если раньше при CPO=3$ было 300 конверсий, то сейчас - 300*2 = 600. Если при CPO=5$ было 400, то сейчас - 800.

Используя коэффициент Уварова, можно сократить формулу премии до:

U можно вычислить, просто поделив число конверсий после на прогноз составленный до оптимизации для CPO=CPO_после

Если CPO в обоих случаях равны, то мы получим «старую» формулу: бесплатные конверсии умножить на СPO и умножить на процент.

1. Пусть до начала работ CPO=CPO_0, а число конверсий равно Count_0

2. Перед началом работ составляется прогнозная функция, которая отражает текущую зависимость числа конверсий от CPO Count = Forecast(CPO).

3. Пусть в каком-то месяце после начала работ мы получили CPO = CPO_i, а число транзакций - Count_i

4. Высчитывается эффективность оптимизации. Коэффициент Уварова. Во сколько раз мы превзошли прогноз. U_i = (Count_i)/(Forecast(CPO_i))

5. Выгода от оптимизации будет равна Profit_i = ROI *(U_i - 1) * Count_o *CPO_0. Исполнитель получает заранее оговоренный процент от этого числа

6. Если нужно это оформить юридически, то составляется таблица (тарифная сетка), где, в зависимости от CPO и числа транзакций, указано вознаграждение.

При правильно подобранной прогнозной функции, вознаграждение не зависит от CPO_i. Вознаграждение исполнителя не зависит от спущенного сверху CPO, а рекламодатель застрахован от повышения/понижения исполнителем ставки, только ради увеличения вознаграждения.

Простой прогноз

Для простоты выберем пропорциональную прогнозную функцию:

Пусть до оптимизации рекламная кампания приносила 1000 транзакций и CPO было равным 10$, а после, в первый месяц после оптимизации, - 900 транзакций с CPO = 7$. Во второй месяц - 1350 транзакций по 12$.

Исполнитель получает какой-то процент этих денег.

Второй месяц:

Проблема пропорционального прогноза в том, что он переоценивает эффективность при снижении ставок и недооценивает при повышении. Этот тип прогноза мы использовали только для примера. На практике мы не рекомендуем им пользоваться.

Пропорциональный прогноз говорит о том, что если мы поднимем CPO вдвое, то число транзакций возрастет тоже вдвое. Однако, это не так. Например, если у вас доля в спецразмещении равна 80%, то никакая ставка не сможет повысить число кликов вдвое.

Вот самый простой прогноз который учитывает этот эффект:

Первый месяц:

Второй месяц:

В коде К50 мы часто пользуемся этим методом. Правда в случаях, когда точность не важна. На практике он показывает довольно высокую точность для колебаний CPO не более чем на 15%-25%.

Вот формулы для коэффициента Уварова в зависимости от цели(Y) и ограничения(X). Например, если задача «максимум конверсий при фиксированном CPA», то Y= число конверсий, а X=CPA.

Проблема в том, что корневой метод не учитывает причину по которой пропорциональная модель неверна. В том, что есть некоторая доля показов в спецразмещении и она не может быть выше 100%.

Допустим, мы вычислили зависимость: Доля в СР = P(CPO). Тогда доля показов в гарантии равна 1 - P(CPO).

Тогда число показов в СР:

Число кликов в СР:

Число конверсий в СР:

Аналогичным образом посчитаем число конверсий в гарантии и получим:

Теперь посчитаем P(CPO). Для разных ключевых слов стоимость входа в СР разная. В терминах теории вероятности это значит, что стоимость входа в спецразмещение - некоторая случайная величина.

У случайных чисел есть некоторое распределение. Одни числа встречаются чаще, чем другие. Например, людей ростом 1.70. больше чем людей ростом 2.10.

Мы попадаем в спецразмещение, только если наша ставка выше стоимости входа в спецразмещение. В терминах тервера (теории вероятностей) это значит, что доля показов в спецразмещении равна некоторой функции F(ставка), называемой функцией распределения.

CPO, можно считать, пропорциональна ставке. То есть, Bid=C* CPO, где C некоторая константа. и мы получаем:

Подставим вместо F функцию распределения Релея и, решив уравнение P(CPO_0)=Доля_СР_0 , получим:

К сожалению, вручную считать эту схему весьма проблематично, поэтому мы разработали специальный онлайн-калькулятор.

Прошлая модель не учитывает то, что мы можем вылететь из гарантии в динамику, или на 2, 3 или 101 страницу выдачи. Поэтому, правильнее моделировать CTR в гарантии некоторой функцией от CPO, а не константой. Проще всего использовать корень:

Отклонения от прогноза могут быть не только следствием работы специалиста, но и сезонности.

Самый простой способ посчитать сезонность - WordStat. Наберите самое частотное ключевое слово в WordStat, перейдите на историю запросов, и вы увидите данные по числу показов за месяц.

Например, контрольный месяц (который мы обозначаем 0) для нас Август 2015 года (08.2015). Высчитываем месячные сдвиги трафика: на сколько в каком-то месяце будет больше трафика, чем в августе. Для этого нужно использовать данные за прошлый год.

Например, для сентября нужно поделить число показов в сентябре 2014 на число показов в Августе 2014. Будет 4818/5378= 0.9. Для октября будет 4927/5378 = 0.92. Обозначим это число как М. Чтобы учесть М в формуле коэффициента Уварова.

Пример:

Сентябрь

Октябрь

Вы можете использовать ту же схему не только для числа конверсий, но и любого другого KPI. Например, оборота:

В РСЯ и КМС нельзя использовать Релеевский прогноз, но вполне можно использовать корневой.

Можно выдавать отдельный бонус за РСЯ, рассчитанный по Релею, и отдельный по КМС, рассчитанный по корневому прогнозу. Или, если пренебречь точностью ради скорости, можно просто все считать корневым.

Разница между AdWords и Директом только в названии блоков, но их положение примерно одинаковое. Поэтому этот метод можно использовать и в AdWords.

Однако следует считать бонусы AdWords и Директ раздельно. Ведь в этих системах разная конкуренция.

Есть два метода:

Это некоторая модернизация представленной схемы для расчета бонусов штатным специалистам. Специалист однократно получает бонус, равный увеличению месячной прибыли в этом месяце.

Например, была прибыль равная 600 тысяч, стала 700. Специалист один раз получает 100. Если в следующем месяце прибыль возросла до 750, то специалист получает бонусом 50 тысяч.

Преимущество это схемы в том, что специалист получает вознаграждение практически сразу после выполнения работ и мотивирован каждый месяц улучшать эффективность рекламной кампании, а не почивать на лаврах.

Мы эту схему реализовали эту схему в Google Docs. Она учитывает сезонность и много других факторов. Пользоваться это таблицей довольно просто:

Необходимо объяснить, почему мы использовали то или иное допущение.

В начале статьи мы сделали допущение, что есть следующая зависимость: F_после (X) = U*F_до (X)

На практике это упрощение дает ощутимую погрешность только при больших колебаниях CPO - больше чем вдвое.

Для линейного и корневого прогноза отказ от этого допущения ничего не меняет - размеры вознаграждения останутся прежними.

Для прогноза Релея отказ от U придет к тому, что вознаграждение будет зависеть не от двух параметров (CPO и числа конверсий), а как минимум, от 3: CPO, число конверсий и доли входа в СР.

Поэтому нельзя составить таблицу вознаграждений, и юридически оформить это будет крайне сложно.

Более того, отказ от U усилит влияние на бонус ставок конкурентов.

Мы могли бы использовать другой коэффициент. Назовем его маленьким коэффициентом Уварова: F_после (X) = F_до (u * X)

Однако, учесть сезонность в этом случае сложнее. Во-вторых, при прогнозе Релея вознаграждение, если его считать в зависимости от u, будет сильно зависеть от CPO, чтобы этого избежать, нужно использовать сложную функцию расчета бонуса.

Распределение Релея мы выбрали по трем критериям: Область определения от 0 до бесконечности. Стоимость входа в блок не может быть отрицательной. Наличие одного параметра Простая функция распределения

Осталось только два распределения - Релея и экспоненциальное. У распределения Релея график плотности вероятности более правдоподобен.

Двухпараметрические распределения, вроде логнормального, способны дать большую точность. Чтобы определить распределение, нам нужно решить систему уравнений.

F(x) функция распределения

f(x) плотность вероятности стоимости входа в СР

Последняя формула выражает неполное матожидание. Среднюю стоимость входа в блок, для всех показов, у которых стоимость входа в блок меньше нашей ставки.

Эту систему уравнений можно решить только численно, и после решения этой системы выражение Count = Forecast(CPO) будет крайне сложным.

В отличии от Релея, этот прогноз требует среднюю ставку в контрольном месяце, а этого числа нет в статистике.

При доле в СР близкой к 50%, у этого метода резко возрастает погрешность. Также метод чувствителен к погрешностям определения средней ставки, особенно, при доле в СР больше 80-90%.