Ghid de audit
Acuratețea în media planning: cum dovedești că un instrument calculează ce pretinde
Trei teste pe care un director de media le poate rula într-o după-amiază — pe motorul nostru, pe o platformă existentă sau pe foaia de calcul în care echipa are deja încredere.
Acuratețea în media planning înseamnă reproductibilitate. Un instrument este corect atunci când două calcule independente ale aceluiași plan dau aceeași cifră și când poți măsura orice diferență dintre ele, în loc să te contrazici pe seama ei. Asta e toată definiția, iar verificarea ei durează o după-amiază. Tot ce urmează decurge de aici: trei teste de rulat pe orice software de media planning, plus convențiile în care matematica TV o ia razna.
Maturitatea pieței nu are nicio legătură cu asta. Piețele cu panel-uri de audiență consacrate și procese de agenție rodate greșesc la fel ca piețele care încă își construiesc infrastructura de măsurare: o cifră deviată de o regulă de rotunjire sau de o convenție de discount trece de verificare pentru că nimeni n-are un al doilea calcul cu care s-o compare. Testul închide golul acesta peste tot.
Testul 1: se potrivește cu un calcul de referință?
Luați un plan pe care echipa dvs. l-a agreat deja — aprobat, trimis casei de vânzări, dezbătut intern. Introduceți în instrument aceleași date de intrare: puncte de rating țintă, CPP de bază, sezonalitate, scara de discount, cota de prime, durata spoturilor, forma flight-ului. Măsurați diferența dintre rezultatul lui și referință, exprimată în procente.
Acel procent este cifra dvs. de acuratețe — nu impresia că „a arătat bine în demo”.
Pentru TV Budgeting cifra este sub 0,01% față de modelul Excel de referință al unei agenții, fișierul cu care piața respectivă închidea contracte. Am verificat ambele direcții pe același nucleu înghețat: TRP spre buget, buget spre TRP. Direcția contează mai mult decât se crede. Un instrument care calculează într-un sens și inversează numeric acumulează eroare la inversare. Același nucleu, ambele direcții, un singur răspuns.
Cereți oricărui furnizor cifra lui și referința din spatele ei. „Suntem preciși” nu este un răspuns. „0,4% față de propriul dvs. model, iată diferența celulă cu celulă” este.
Testul 2: calculul este înghețat?
Un rezultat de paritate este o fotografie. Întrebarea e dacă mai rămâne valabil după următoarea lansare.
Al nostru rămâne valabil pentru că aproximativ 750 de teste de backend și aproximativ 2100 de teste de frontend — aproape 3000 în total — sunt fixate pe nucleul de calcul. Ele există ca să facă imposibilă lansarea unei modificări care mută pe tăcute o cifră de buget cu 0,3%. Prinderea erorilor de rulare este un efect secundar. Dacă un refactor schimbă un rezultat, suita de teste eșuează și lansarea se oprește.
Întrebarea practică pentru un furnizor: ce se întâmplă cu planul meu deja agreat când faceți deploy joi? Dacă răspunsul conține cuvântul „n-ar trebui”, întrebați cum este garantat asta.
Testul 3: ce face cu o dată de intrare lipsă?
Acesta este cel mai rapid test și cel mai revelator. Lăsați gol un câmp obligatoriu și trimiteți.
Majoritatea instrumentelor înlocuiesc valoarea lipsă cu una implicită — cel mai periculos comportament într-un software de planificare, pentru că o valoare implicită produce o cifră care arată exact ca una calculată. Nimeni nu observă diferența, iar ipoteza ajunge nemodificată până în licitație.
Sistemul nostru refuză. Dacă lipsește o valoare, calculul eșuează și indică numele câmpului. Ce vedeți este exact ce s-a calculat; nimic nu a fost completat în locul dvs. Lunile active provin din TRP-ul livrat, nu din ce a introdus planificatorul într-un selector de luni, așa că fereastra calendaristică arată planul care chiar există.
Unde deviază, de fapt, matematica TV?
Eșecurile de paritate se adună în jurul câtorva convenții. Verificați aceste linii una câte una, în orice instrument.
- Discounturile se înmulțesc. O casă de vânzări care oferă 20% și 10% oferă de fapt 28%, nu 30%. Rata combinată este
1 − Π(1 − r). Două discounturi deschid deja un decalaj de 8 puncte față de bază, iar la un contract mare acel decalaj este toată marja de negociere. Un instrument care le adună strică tot ce urmează cu o cifră exactă, dar invizibilă. - Bucla buget–discount trebuie să convergă. Pragul de discount depinde de bugetul declarat; bugetul depinde de discount. Așa că sistemul iterează. Când valoarea oscilează între două praguri, luăm bugetul mai mare — o alegere deliberat conservatoare pentru cumpărător, ca un plan să nu subestimeze niciodată ce trebuie să acopere banii.
- Lanțul CPP are o ordine fixă.
base_cpp30 × (1 + sezonalitate) × (1 − discount_combinat) × (1 + uplift). Reordonați acești termeni și obțineți o altă cifră, care tot arată plauzibil. - Uplift-ul de prime-time se aplică întregii înțelegeri, nu doar porțiunii de prime. Citiți acest câmp ca pe un multiplicator pentru tot, pentru că așa se calculează prețul.
- Off-prime este o cotă din bani, nu din timpul de emisie. Dvs. stabiliți împărțirea banilor; sistemul o transformă într-o cotă de ratinguri folosind affinity și discountul de off-prime. Echipele care gândesc în „70% prime” ca timp de emisie și apoi introduc asta într-un câmp de bani obțin un plan pe care nu l-au intenționat.
- GRP-ul ponderat este relativ la țintă.
wGRP = wTRP / (affinity / 100). O affinity de 200 înseamnă că audiența țintă urmărește de două ori mai dens decât populația generală. Eroarea clasică pune un numărător pe țintă alături de un numitor pe total. Rezultatul cade în intervalul plauzibil, motiv pentru care trece de verificare. - Durata spotului este un coeficient. Un spot de 30 de secunde are ponderea 1,0; spoturile mai scurte au o pondere mai mică.
- Două straturi de bani. Shop List este bugetul declarat vânzătorului și el stabilește pragul de discount. Execuția este ce a rulat efectiv. Dacă le confundați, reconcilierea post-buy se strică.
Forma planului merită aceeași disciplină. Introducerea liberă a 52 de săptămâni invită la un obicei moștenit din planul anului trecut, așa că oferim 17 șabloane de flighting (Flat, Front-Loaded, Mid-Peak, Crescendo) și 5 niveluri de intensitate, de la 0,5 la 1,7, fiecare cu cercetarea din spate: degradarea adstock de aproximativ 2,5 săptămâni pentru FMCG a lui Broadbent, munca STAS a lui Jones și Binet & Field.
Acuratețea pe partea de date
Calculul este doar jumătate din poveste. Dacă cifrele de audiență introduse sunt aproximative, paritatea aritmeticii nu vă folosește la nimic.
TV Planner citește fișierele brute de livrare Nielsen — setul binar EVS/RDS/RSP — și sare peste exportul text. Motivul e granularitatea: exportul vine cu benzi de vârstă de 1–5, sursa are vârste exacte de la 4 la 65 de ani. Segmentele standard din industrie, precum 18–49 și 25–54, nu pot fi construite din benzi. Acel plafon aparține exportului text, nu datelor Nielsen.
Dovada noastră este o reproducere celulă cu celulă a unui tabel oficial de audiență: din 60.858 de celule, toate cele 21.548 de celule nenule s-au potrivit cu o abatere de sub 0,5 persoane (Nielsen rotunjește la persoane întregi), pe toate cele 17 din 17 segmente demografice. Reproducem cifrele publicate de Nielsen. Nu suntem certificați de Nielsen și nu pretindem asta.
Și aici contează convențiile. Agregarea pe mai multe zile este ponderată pe univers, niciodată o medie aritmetică a procentelor zilnice. Reach și frecvența se calculează la nivel individual, față de un univers de 2.295.613 persoane. Preluarea fișierelor este idempotentă prin SHA-256: o livrare retrimisă este ignorată, o livrare corectată șterge și înlocuiește rândurile vechi, astfel încât o zi revizuită nu devine niciodată o duplicare tăcută.
Post-buy rulează la nivel de spot. Fiecare spot difuzat primește exact unul dintre cele șapte statusuri, reciproc exclusive, față de plan — matched, out_of_flight, unplanned_channel, out_of_week, out_of_daypart, wrong_length, no_lines — ceea ce transformă „a fost difuzat” într-o afirmație pe care o puteți apăra într-o întâlnire cu clientul.
Două limite asumate. CPP-ul nostru este un proxy de planificare: datele nu conțin prețuri reale, deci nu pretindem economii de cost sau ROI ca rezultat al produsului. Iar prognoza autonomă este pe foaia de parcurs, nu în produs astăzi. Datele de audiență acoperă în prezent o singură piață, Republica Moldova.
Rulați Testul 1 pe propriul plan
Aduceți un plan pe care echipa dvs. l-a agreat deja, iar noi trecem aceleași date de intrare prin nucleu chiar sub ochii dvs. Rezultatul cade la sub 0,01% față de al dvs. sau nu. Oricum ar fi, plecați știind ceva ce nu știați dimineața.
Întrebări frecvente
Ce înseamnă, de fapt, „acuratețea în media planning”?
Că aceleași date de intrare produc aceleași rezultate în calcule independente și că orice abatere de la o referință agreată este măsurabilă. „Sub 0,01% față de un model de referință numit” este o afirmație pe care o puteți verifica; „precis”, de unul singur, nu este.
Ce se întâmplă cu planul meu agreat când furnizorul lansează o versiune nouă?
Depinde în întregime de faptul dacă paritatea este garantată prin teste. La noi este fixată prin aproximativ 750 de teste de backend și 2100 de frontend, așa că un refactor care mută un rezultat cu 0,3% face suita de teste să eșueze și oprește lansarea.
De ce ar trebui un instrument să refuze o dată de intrare lipsă în loc s-o înlocuiască cu o valoare implicită?
Pentru că o valoare implicită arată identic cu o valoare calculată. Planul ajunge să poarte o ipoteză pe care nimeni n-a ales-o, direct într-o licitație. A eșua cu numele câmpului costă nouăzeci de secunde și previne exact asta.
De ce se citesc fișierele brute de livrare Nielsen în loc de exportul standard?
Exportul text vine cu benzi de vârstă de 1–5; livrarea brută are vârste exacte de la 4 la 65 de ani. Segmente precum 18–49 și 25–54 nu pot fi reconstituite din benzi, așa că orice instrument construit pe export moștenește acel plafon.
Contează asta doar în piețele cu procese de planificare mai puțin mature?
Nu. Piețele mature rulează mai multe planuri prin mai multe mâini, ceea ce înseamnă mai multe locuri în care o nepotrivire de convenție poate trece neobservată. Un test de reproductibilitate este ieftin peste tot și merită cel mai mult acolo unde volumul e cel mai mare.
Testul 1 funcționează cel mai bine pe un plan deja reconciliat. TV Budgeting trece aceleași date prin nucleul său chiar sub ochii dvs., în ambele direcții, și vă arată diferența celulă cu celulă.
Solicitați un demo →