← Все плейбуки·Атрибуция в digital

Что нужно на входе

• Размер и идентификаторы подходящей аудитории — из рекламной платформы или выгрузки аудитории CDP
• Целевой процент холдаут-группы и минимальный размер выборки для ожидаемого прироста — из расчёта мощности теста или встроенного калькулятора инкрементальности платформы
• Бюджет кампании и даты флайта — из медиаплана
• Стандартный конверсионный показатель или бенчмарк CPA — из исторической отчётности по кампаниям
• Стоимость конверсии или AOV — из аналитики клиента или финансовых данных

Порядок действий

1. Определите подходящую аудиторию и до запуска случайным образом разделите её на холдаут- и экспонированную группы, получив две сопоставимые группы нужного размера для ожидаемого прироста
2. Исключите показ кампании холдаут-группе по всем каналам, затрагивающим эту аудиторию, получив чистую контрольную группу без утечек между каналами
3. Проведите кампанию на экспонированную группу в течение всего флайта, получив количество конверсий в обеих группах за один и тот же период
4. Рассчитайте конверсионный показатель в каждой группе и проверьте разницу на значимость с помощью хи-квадрат или z-теста, получив оценку прироста с уровнем доверия
5. Умножьте показатель прироста на размер экспонированной группы, получив количество инкрементальных конверсий и, при заданном AOV, показатель инкрементального дохода
6. Разделите бюджет кампании на количество инкрементальных конверсий, получив стоимость за инкрементальную конверсию для сопоставления со стандартным CPA

Разбор с числами

Флайт в Польше, подходящая аудитория 1,500,000. Холдаут-группа задана на уровне 10% = 150,000 пользователей; экспонированная группа = 1,350,000. Холдаут-группа конвертируется по базовому показателю 1.6% = 2,400 конверсий. Экспонированная группа конвертируется по 2.4% = 32,400 конверсий. Ожидаемое количество конверсий в экспонированной группе при показателе холдаут-группы составило бы 1,350,000 x 1.6% = 21,600, значит инкрементальные конверсии = 32,400 - 21,600 = 10,800, относительный прирост 50% (10,800/21,600), и статистически значим с явным запасом при таком размере выборки. Бюджет кампании составил €180,000, что даёт стоимость за инкрементальную конверсию €180,000/10,800 = €16.67. При AOV €45 инкрементальный доход = 10,800 x €45 = €486,000, значит инкрементальный ROAS = €486,000/€180,000 = 2.7. Это значит: на каждый потраченный евро €2.70 дохода не появились бы без кампании; сравните стоимость за инкрементальную конверсию €16.67 со стандартным CPA клиента, чтобы понять, оправдывает ли канал свой текущий бюджет.

Где ошибаются

• Определяйте размер холдаут-группы через расчёт мощности под ожидаемый прирост, а не по круглому числу вроде 10% - прирост меньше 1 п.п. на маленькой холдаут-группе не достигнет статистической значимости
• Исключайте холдаут-группу из показов по всем каналам плана, а не только на основной платформе - утечка через ретаргетинг или вторую платформу проявится как ложно заниженный прирост
• Сравнивайте конверсионный показатель между группами, а не абсолютное количество конверсий - при неравных размерах групп абсолютные цифры завышают или занижают реальную разницу
• Придерживайтесь заранее заданной длительности флайта и размера выборки, не ориентируйтесь на промежуточные результаты - досрочная остановка на удачном промежуточном срезе завышает число ложноположительных результатов

Как понять, что верно

Используемые термины

• Incrementality
• Conversion Lift
• ROAS

← Все плейбуки Считается в ValueMetrics →