Je hebt een kop op je productpagina. Je denkt dat een andere kop beter converteert. Je kunt gokken. Of je laat de helft van je bezoekers de oude kop zien en de andere helft de nieuwe, meet het conversiepercentage van beide en laat de data bepalen welke beter is. Dat is A/B-testen met analytics.
Bij A/B-testen vergelijk je met data varianten en vind je de winnaar. Dit artikel behandelt hoe A/B-tests werken, wat statistische significantie betekent, waarom de omvang van je steekproef telt, veelgemaakte testfouten en hoe je varianten kiest die het testen waard zijn.
A/B-testen (ook split-testen genoemd) vergelijkt twee versies van iets om te zien welke beter presteert. Versie A (controle): je huidige kop. Versie B (variant): een andere kop. Je verdeelt je verkeer 50/50, meet welke kop meer converteert en kiest een winnaar.
A/B-testen beantwoordt: is deze wijziging echt beter, of is het verschil gewoon toeval? Zonder testen ga je op je onderbuikgevoel af. Met testen ga je af op data.
Wat A/B-testen is en welke vraag het beantwoordt
A/B-testen vergelijkt twee versies en meet welke beter presteert op een specifiek cijfer. Doorklikpercentage (CTR). Conversiepercentage. Tijd op de pagina. Omzet per bezoeker. Je laat de test lopen tot je genoeg data hebt om te beslissen.
Een A/B-test beantwoordt: is het verschil tussen deze versies echt of toeval? Is deze wijziging het doorvoeren waard of moet ik iets anders proberen? Het antwoord komt uit data, niet uit meningen.
Hoe statistische significantie werkt
Je test twee koppen. Kop A converteert 10 procent (100 van 1.000). Kop B converteert 10,5 procent (105 van 1.000). Kop B is beter. Maar is het verschil echt of gewoon toevallige variatie?
Statistische significantie beantwoordt: als er geen verschil was tussen deze koppen, hoe waarschijnlijk is het dan dat je puur door toeval een verschil van deze omvang ziet? Is die kans heel klein (minder dan 5 procent), dan is het verschil statistisch significant. Dan kun je erop vertrouwen dat het echt is.
Is die kans groot (meer dan 5 procent), dan kan het verschil toeval zijn. Handel er dan niet naar.
De meeste tests vragen 95 procent zekerheid: er mag maar 5 procent kans zijn dat het verschil toeval is. Sommige tests vragen 99 procent zekerheid (maar 1 procent kans op toeval).
Waarom de omvang van je steekproef telt
Je test kop B op 20 mensen en krijgt een conversiepercentage van 20 procent (4 conversies). Kop A haalde 10 procent (2 conversies). Kop B is beter, toch? Misschien. Of het is toeval bij zo'n kleine steekproef.
Test dezelfde koppen op 10.000 mensen. Kop A krijgt 1.000 conversies van 10.000 (10 procent). Kop B krijgt 950 conversies van 10.000 (9,5 procent). Nu is kop A beter. Bij een grotere steekproef vlakt toeval af en komen de echte patronen naar boven.
Een grotere steekproef geeft je meer vertrouwen in de uitkomst. Kleinere steekproeven zijn rumoerig en onbetrouwbaar.
Veelgemaakte fouten bij A/B-testen
De test te vroeg stoppen: Je ziet na twee dagen één variant winnen. Je roept de overwinning uit en zet hem aan. Maar na twee weken keert het patroon om en wint het origineel. De eerste data was toevallige variatie. Laat de test lang genoeg lopen (minstens twee weken, liefst vier).
Te veel tests tegelijk draaien: Je test kop, kleur van de knop en lengte van het formulier tegelijk. Eén variant wint, maar je weet niet welk element de winst veroorzaakte. Test één ding tegelijk.
Onbelangrijke wijzigingen testen: Je test de kleur van een knop (blauw tegenover iets donkerder blauw). De test heeft 100.000 bezoekers nodig om een statistisch significant verschil te laten zien. Test wijzigingen die ertoe doen (een kop tegenover een andere waardepropositie, niet blauw tegenover iets minder blauw).
Het seizoen negeren: Je draait een test van november tot en met januari. Je variant wint. Maar januari is een rustiger seizoen. Draai je hem een heel jaar, dan verliest hij. Laat tests altijd over meerdere seizoenen lopen.
Samenhang verwarren met oorzaak: Variant B wint. Je neemt aan dat de wijziging de winst veroorzaakte. Maar je startte tijdens de test ook een marketingcampagne. De campagne veroorzaakte de winst, niet de variant. Corrigeer voor externe factoren.
Zo kies je wat je test
Test wijzigingen met veel mogelijk effect. Kleine wijzigingen maken misschien geen verschil, ook al winnen ze. Een andere kleur van een knop verhoogt de conversie misschien met 0,5 procent. Een andere kop verhoogt de conversie misschien met 5 procent. Test eerst grotere wijzigingen.
Test wijzigingen die bij je hypothese passen. Is je hypothese "een verwarrend afrekenformulier veroorzaakt afhakers", test dan een eenvoudiger formulier. Test geen willekeurige kleuren en plekken van knoppen.
Test wijzigingen één voor één. Verander je kop, tekst van de knop en formuliervelden tegelijk, dan weet je niet wat de verbetering veroorzaakte.
Zo lees je de uitslag van een A/B-test
De uitslag laat zien: variant A had een conversiepercentage van 10 procent. Variant B had een conversiepercentage van 11 procent. B is 10 procent beter (relatieve verbetering). Het zekerheidsniveau is 95 procent, met een p-waarde van 0,03.
Dit betekent: variant B is beter. We zijn voor 95 procent zeker dat dit verschil echt is en geen toeval.
Is het zekerheidsniveau 85 procent (p-waarde 0,15), dan is de uitslag niet statistisch significant. Kies dan geen winnaar, je hebt meer data nodig.
Wanneer je doorgaat met testen en wanneer je stopt
Ga door met testen als: de uitslag niet statistisch significant is en je je doel voor de steekproef niet haalde, of als je iets onverwachts leerde en dieper wilt graven.
Stop met testen als: je statistische significantie haalde en een winnaar kunt kiezen, of als je de test vier weken of langer liet lopen en de uitslagen niet richting significantie bewegen. Dan zijn de varianten waarschijnlijk even goed.
Veelgestelde vragen
Hoeveel bezoekers heb ik nodig voor een geldige A/B-test?
Dat hangt af van je basisconversiepercentage en hoe groot een verandering is die je wilt opsporen. Voor een kleine site met 100 bezoekers per dag heb je misschien twee weken nodig om statistische significantie te halen. Voor een grote site met 10.000 bezoekers per dag haal je het misschien in twee dagen. Gebruik een rekenhulp voor steekproefgrootte (de meeste tools voor A/B-testen hebben er een). Met de Websitebouwer van WEMASY zet je dit direct op je eigen website op.
Wat betekent een p-waarde van 0,05?
Het betekent dat er 5 procent kans is dat het verschil dat je ziet, toeval is. Een zekerheidsniveau van 95 procent. De meeste mensen gebruiken 0,05 als drempel: is de p-waarde lager dan 0,05, dan is de uitslag statistisch significant.
Kan ik de uitslag tijdens een test bekijken en eerder stoppen als één variant wint?
Nee. Dit heet kijken terwijl de test loopt (peeking) en het leidt tot verkeerde conclusies. Stop je eerder omdat één variant voorligt, dan mis je misschien de echte winnaar. Laat de test altijd de geplande tijd lopen.
Wat als mijn test een heel grote verbetering laat zien maar een lage statistische significantie?
Meestal is je steekproef te klein. Je hebt een veelbelovend signaal maar te weinig data om het te bevestigen. Laat de test langer lopen of haal meer verkeer binnen.
Moet ik één element testen of meerdere tegelijk?
Test één element tegelijk (multivariate testen is ingewikkeld en meestal de moeite niet waard, tenzij je heel veel verkeer hebt). Als je één ding test, weet je wat de verandering veroorzaakte.
Hoeveel A/B-tests moet ik tegelijk draaien?
Meestal één tegelijk, zeker als je nieuw bent met testen. Ben je ervaren en heb je veel verkeer, dan kun je meerdere tests tegelijk op verschillende pagina's draaien. Draai nooit twee tests tegelijk op dezelfde pagina.