Isolate incremental conversions with a holdout test

Acest job izolează conversiile pe care o campanie chiar le-a generat de cele care s-ar fi produs oricum, folosind un holdout randomizat în loc de modelare de atribuire. Produce un număr de conversii incrementale și o cifră de cost per conversie incrementală, care alimentează decizia go/no-go și realocarea bugetului pentru canal sau campanie.

Ce îți trebuie

Dimensiunea și identificatorii audienței eligibile, din exportul de audiență al platformei ad sau al CDP-ului
Procentul țintă de holdout și dimensiunea minimă a eșantionului pentru lift-ul așteptat, dintr-un calcul de putere statistică sau din calculatorul de incrementalitate integrat al platformei
Cheltuiala campaniei și datele de flight, din planul media
Rata standard de conversie sau benchmark-ul CPA, din raportarea istorică a campaniilor
Valoarea conversiei sau AOV, din datele de analytics sau financiare ale clientului

Procedura

Definește populația eligibilă și împarte-o aleatoriu în grup holdout și grup expus înainte de lansare, obținând două grupuri comparabile, dimensionate pentru lift-ul așteptat
Suprimă expunerea la campanie pentru grupul holdout pe fiecare canal care atinge acea populație, obținând un control curat, fără scurgeri cross-channel
Rulează campania pe grupul expus pe toată durata flight-ului, obținând numărul de conversii în ambele grupuri pe aceeași fereastră de timp
Calculează rata de conversie în fiecare grup și testează diferența pentru semnificație statistică cu un test chi-pătrat sau z, obținând o estimare a lift-ului cu un nivel de încredere
Înmulțește rata de lift cu dimensiunea grupului expus, obținând un număr de conversii incrementale și, la AOV-ul dat, o cifră de venit incremental
Împarte cheltuiala campaniei la conversiile incrementale, obținând o cifră de cost per conversie incrementală de comparat cu CPA-ul standard

Calcul pas cu pas

Flight în Polonia, audiență eligibilă 1,500,000. Holdout stabilit la 10% = 150,000 utilizatori; grup expus = 1,350,000. Holdout-ul convertește la rata sa de bază de 1.6% = 2,400 conversii. Grupul expus convertește la 2.4% = 32,400 conversii. Conversiile așteptate în grupul expus la rata holdout-ului ar fi 1,350,000 x 1.6% = 21,600, deci conversiile incrementale = 32,400 - 21,600 = 10,800, un lift relativ de 50% (10,800/21,600) și confortabil semnificativ la această dimensiune a eșantionului. Cheltuiala campaniei a fost €180,000, ceea ce dă un cost per conversie incrementală de €180,000/10,800 = €16.67. La un AOV de €45, venitul incremental = 10,800 x €45 = €486,000, deci ROAS-ul incremental = €486,000/€180,000 = 2.7. Citește astfel: pentru fiecare euro cheltuit, ar reveni €2.70 în venit care nu ar fi ajuns fără campanie; compară costul per conversie incrementală de €16.67 cu CPA-ul standard al clientului pentru a vedea dacă canalul merită bugetul actual.

Unde se greșește

Dimensionează holdout-ul în funcție de lift-ul așteptat printr-un calcul de putere statistică, nu după un număr rotund precum 10% - un lift sub 1pt pe un holdout mic nu va atinge pragul de semnificație
Suprimă holdout-ul pe fiecare canal din plan, nu doar pe platforma principală - scurgerile prin retargeting sau printr-o a doua platformă apar ca lift fals negativ
Compară rata de conversie între grupuri, nu numărul brut de conversii - dimensiunile inegale ale grupurilor fac numerele brute să supraestimeze sau să subestimeze diferența reală
Angajează-te la durata de flight și dimensiunea eșantionului stabilite dinainte, în loc să citești rezultatele intermediare - oprirea prematură la o citire favorabilă umflă falsele pozitive

Cum știi că e corect

Rezultatul este valid dacă lift-ul depășește pragul de încredere stabilit dinainte (de obicei p<0.05) și dacă rata proprie de conversie a grupului holdout urmează baseline-ul său dinainte de campanie, confirmând că split-ul a fost curat înainte să atribui diferența campaniei.

Termeni folosiți

← Toate playbook-urile Se calculează în ValueMetrics →