Attributie vertelt je welk kanaal de eer krijgt voor een conversie. Maar zorgt het kanaal echt voor de conversie, of was die toch gekomen? Incrementaliteitstests beantwoorden die vraag met experimenten: laat een deel van de gebruikers het kanaal zien (testgroep), laat anderen het niet zien (controlegroep) en meet het verschil in conversiepercentage. Dat verschil is het echte extra effect. Dit hoofdstuk legt uit wat incrementaliteitstests zijn en wanneer je ze gebruikt.
Attributie of incrementaliteit
Attributie: welk kanaal raakte mensen die converteerden als laatste? Eenvoudig te meten, maar het bewijst geen oorzaak.
Incrementaliteit: als we dit kanaal helemaal weghalen, hoeveel omzet verliezen we dan? Dit bewijst de oorzaak en meet het echte effect.
Voorbeeld: 100 mensen converteerden. Bij last-click krijgt Google Ads de eer voor 60. Maar een incrementaliteitstest laat zien: als we geen Google Ads hadden gedraaid, hadden 50 van die 60 toch geconverteerd (via andere kanalen). De echte incrementaliteit van Google Ads is 10 conversies, niet 60.
Soorten incrementaliteitstests
Test op basis van regio
Toon advertenties in sommige regio's (testgroep) en in andere niet (controlegroep). Vergelijk de conversiepercentages. Voorbeeld: draai Google Ads in San Francisco (testgroep) en niet in Berkeley (controlegroep). Is het conversiepercentage in SF hoger, dan zijn de advertenties incrementeel.
Voordeel: eenvoudig en snel. Nadeel: verschillen tussen regio's kunnen het resultaat vertekenen (SF is rijker, wat het conversiepercentage hoger maakt).
Holdout-groepen
Toon advertenties aan iedereen behalve aan een willekeurige 10% (controlegroep). Vergelijk de conversiepercentages: gebruikers die de advertenties zagen tegenover de holdout-gebruikers. Het verschil is de incrementaliteit.
Voordeel: nauwkeurig en corrigeert voor verstorende factoren. Nadeel: vraagt een groot budget (we richten ons niet op 10% van ons publiek om het effect te meten).
Test op basis van tijd
Toon advertenties in sommige periodes (testgroep) en in andere niet (controlegroep). Voorbeeld: draai betaald zoeken van maandag tot donderdag, niet van vrijdag tot zondag. Vergelijk de conversiepercentages. Is het hoger van maandag tot donderdag, dan zijn de advertenties incrementeel.
Voordeel: eenvoudig. Nadeel: verschillen tussen dagen van de week vertekenen het beeld (in het weekend is de conversie van nature lager).
Een incrementaliteitstest uitvoeren
Stap 1: bepaal je hypothese. "Google Ads levert extra conversies op bovenop het normale niveau."
Stap 2: kies het soort test. Holdout-groepen zijn het nauwkeurigst. Gebruik die als je budget het toelaat.
Stap 3: bepaal de omvang van je test. Je hebt genoeg deelnemers nodig om verschil te zien. Is je basisconversie 5% en wil je een stijging van 2% zien, dan heb je ongeveer 10.000 per groep nodig. Vraag een statisticus of gebruik een rekenhulp voor power.
Stap 4: laat de test 2 tot 4 weken lopen. Langere tests verkleinen de schommelingen van dag tot dag.
Stap 5: analyseer de resultaten. Is het verschil statistisch significant? (p < 0,05). Zo ja, dan heb je incrementaliteit bewezen.
Uitdagingen bij incrementaliteitstests
Kosten: met holdout-groepen laat je bewust omzet liggen (we richten ons niet op 10% van ons publiek). Alleen de moeite waard bij kanalen waar veel geld in gaat en het inzicht veel oplevert.
Overlap tussen kanalen: als een gebruiker je advertentie niet ziet, kiest die misschien organisch zoeken of direct verkeer. Incrementaliteit vangt dit op (het zit in het gedrag van de controlegroep).
Effecten op lange termijn: advertenties kunnen een merkeffect hebben dat pas dagen of weken later zichtbaar wordt. De meeste tests zijn kortlopend en missen effecten op lange termijn.
Hoe bepaal ik of ik een incrementaliteitstest moet doen?
Incrementaliteit is duur (een holdout kost geld). Doe tests voor: kanalen waar veel geld in gaat (Google Ads, Facebook Ads), waar de attributie onduidelijk is en waar je grote budgetbeslissingen neemt. Test niet: kleine kanalen en kanalen waar de attributie duidelijk is. Budget: $10k tot $50k of meer per test. Bewaar het voor de vragen met de meeste impact.
Hoe groot moet mijn steekproef zijn voor een incrementaliteitstest?
Dat hangt af van je basisconversie en de stijging die je wilt zien. Vuistregel: 5.000 tot 10.000 per groep (controle- en testgroep). Is je basis 5% en wil je een stijging van 2% zien (nieuw percentage 7%), dan heb je ongeveer 10.000 per groep nodig. Gebruik een rekenhulp voor power (zoek op "statistical power calculator") voor het exacte aantal in jouw geval.
Hoe lang moet ik een incrementaliteitstest laten lopen?
Minimaal 2 tot 4 weken (om de schommelingen per dag uit te middelen). 4 tot 8 weken is beter (vangt patronen per week). Langere tests kosten meer, maar zijn betrouwbaarder. Duurt je verkoopproces 30 dagen, laat de test dan 30 dagen of langer lopen om het hele proces te vangen.
Kan ik incrementaliteitstests gebruiken om interactie tussen kanalen te meten (hoe het ene kanaal het andere helpt)?
Ja, maar het is ingewikkelder. Opzet van de test: (1) controle (geen kanalen), (2) test A (alleen kanaal A), (3) test B (alleen kanaal B), (4) test A+B (beide kanalen). Vergelijk de resultaten. Is A+B > A + B, dan versterken de kanalen elkaar. Dit vraagt grotere steekproeven en een ingewikkelder analyse.
Wat is het verschil tussen een holdout-groep en een controlegroep bij testen?
Holdout: een deel van je klantenbestand dat het kanaal (bewust) niet ziet. Controlegroep: in een experiment de groep die de behandeling niet krijgt (ter vergelijking). Hetzelfde idee met een andere naam. Een holdout loopt continu (een doorlopende holdout-groep), een controlegroep hoort bij een specifieke testperiode.
Hoe laat ik de resultaten van een incrementaliteitstest zien aan het management?
Laat zien: basisconversie (5%), conversie van de testgroep (6%) en stijging (1 procentpunt, 20% relatief). Laat het betrouwbaarheidsinterval zien: de stijging ligt tussen 0,5 en 1,5 procentpunt (we zijn zeker van dit bereik). Gevolg voor het budget: is de incrementaliteit 20% lager dan de attributie beweerde, bereken dan het rendement opnieuw. Zo rechtvaardig je de kosten van de test met betere beslissingen.