← Все плейбуки·Атрибуция в digital

Плейбуки · Атрибуция в digital

Measure brand lift between exposed and control groups

Эта задача показывает, сдвинула ли брендовая кампания знание, запоминание или намерение купить у людей, которых она охватила, по сравнению с теми, кого она не охватила. Результат определяет решение о продлении или масштабировании флайта, а диагностическое разбиение используется для оптимизации креатива и размещений внутри кампании.

Что нужно на входе

  • Даты флайта кампании и лог показов/охвата платформы — из DSP или ad-сервера
  • Минимальный детектируемый эффект и требуемый размер выборки на ячейку — из калькулятора мощности brand lift платформы или вендора (например, Kantar, Dynata или собственный инструмент walled garden)
  • Метод формирования контрольной группы — ghost ads/PSA или geo holdout — из спецификации продукта brand lift платформы, проводящей исследование
  • Базовый уровень знания, запоминания или намерения купить по категории — из предыдущей волны трекинга или синдицированного трекера
  • Медиабюджет и прогноз охвата — из медиаплана
  • Порог значимости и уровень доверия, согласованные с клиентом — из брифа на измерение

Порядок действий

  1. Определите экспонированную и контрольную ячейки с помощью ghost ads/PSA или geo holdout, рассчитав размер по калькулятору минимального детектируемого эффекта платформы — на выходе два пула аудитории, сопоставимых по охвату и демографии
  2. Сформулируйте вопросы опроса по знанию с подсказкой, запоминанию рекламы и намерению купить, совпадающие по формулировкам с действующим брендовым трекером клиента — на выходе сопоставимый набор вопросов
  3. Запустите флайт с тегом brand lift, срабатывающим в обеих ячейках — на выходе сырые данные по показам и количеству ответов на опрос по каждой ячейке
  4. Не публикуйте отчет, пока в каждой ячейке не будет достигнут минимальный порог выборки платформы — на выходе топлайн-результат, достаточно стабильный для интерпретации
  5. Рассчитайте абсолютный лифт (% в экспонированной минус % в контрольной) и относительный лифт (абсолютный лифт, деленный на % в контрольной) — на выходе итоговая цифра лифта по каждой метрике
  6. Проведите тест значимости различия двух долей между экспонированной и контрольной группами — на выходе p-value и доверительный интервал по каждой метрике
  7. Сегментируйте лифт по частотным диапазонам, креативам или размещениям там, где размер ячеек позволяет — на выходе диагностическое разбиение для оптимизации в ходе флайта
  8. Оформите результат в сравнении с заранее согласованным порогом успеха — на выходе рекомендация go/no-go для следующего флайта

Разбор с числами

Кампания в Нидерландах, бюджет €150k, прогноз уникального охвата 2.4M. Экспонированная ячейка дала 1,850 ответов на опрос, контрольная — 1,720, обе выше минимального порога выборки платформы. Знание с подсказкой: 777/1,850 = 42% в экспонированной, 602/1,720 = 35% в контрольной. Абсолютный лифт = 42% - 35% = 7 пунктов. Относительный лифт = 7/35 = 20%. Объединенная доля p = (777+602)/(1850+1720) = 1379/3570 = 0.386. Стандартная ошибка = sqrt(0.386 x 0.614 x (1/1850 + 1/1720)) = sqrt(0.237 x 0.00112) = sqrt(0.000266) = 0.0163. Z = 0.07/0.0163 = 4.29, p < 0.0001. Это реальный, статистически надежный относительный прирост знания с подсказкой на 20%, достаточный, чтобы обосновать масштабирование флайта, но перед тем как считать это чистой победой, проверьте, что метрики запоминания рекламы и намерения купить движутся в том же направлении.

Где ошибаются

  • Сравнивайте экспонированную группу с настоящей контрольной группой, которая могла увидеть рекламу, но не увидела — через ghost ads или geo holdout, а не с общей популяцией, поскольку сравнение с популяцией завышает лифт из-за смещения отбора
  • Дожидайтесь минимального порога выборки платформы, прежде чем читать топлайны, поскольку ранние срезы на неполной выборке могут сдвинуть показатель лифта на десятки пунктов в любую сторону
  • Полагайтесь на дедупликацию платформы при распределении по ячейкам, поскольку кросс-девайсная активность и обновление cookie приведут к утечке экспонированных пользователей в контрольную ячейку, если вы попытаетесь сопоставлять ID самостоятельно
  • Указывайте доверительный интервал вместе с относительным лифтом, поскольку относительный лифт 20% при абсолютном разрыве в 7 пунктов читается совсем иначе, чем лифт 20% при разрыве в 2 пункта, и клиенту нужны обе цифры, чтобы это оценить

Как понять, что верно

Результат верен, если p-value преодолевает согласованный порог, демографический состав контрольной ячейки совпадает с экспонированной в пределах нескольких пунктов, а направление лифта сохраняется как минимум в двух из трех метрик, а не только в основной.

Используемые термины

← Все плейбуки Считается в ValueMetrics →