Stap een: schrijf een hypothese met details
Een vage hypothese faalt
Niet: het aanpassen van de checkout verbetert de conversie.
Een specifieke hypothese wint
Beter: we denken dat het vereenvoudigen van de checkout van vijf stappen naar één pagina het aantal voltooide aankopen met minstens drie procent verhoogt, omdat klanten afhaken als het formulier lang aanvoelt.
Een hypothese benoemt vier dingen. Wat je verandert. Waarom je denkt dat het helpt. Welke meetwaarde je verwacht te verbeteren. En met hoeveel.
Een vage hypothese geeft vage resultaten. Een specifieke hypothese is toetsbaar.
Stap twee: bepaal de steekproefgrootte voordat je begint
De rekensom telt
Hoeveel bezoekers heb je nodig om een echt verschil te zien?
De vuistregel: je hebt minimaal vijfhonderd conversies per variant nodig. Dat is duizend in totaal als je twee versies test.
Bereken hoe lang je test duurt
Als je met twee procent converteert en tweeduizend bezoekers per maand krijgt, haal je veertig conversies per maand. Vijfhonderd conversies duurt dan twaalf maanden. De test is niet op tijd klaar.
Als je met tien procent converteert en vijfduizend bezoekers per maand krijgt, haal je vijfhonderd conversies per maand. Duizend conversies duurt dan twee maanden. De test is snel klaar.
Weet vooraf hoe lang het duurt
Websites met een laag conversiepercentage hebben langere tests nodig. Websites met een hoog conversiepercentage zijn sneller klaar.
Gebruik een rekenhulp voor steekproefgrootte. Vul je conversiepercentage en je verkeer in. De rekenhulp zegt hoe lang de test duurt.
Duurt de test langer dan drie maanden, vraag je dan af: is de aanpassing het wachten van drie maanden waard? Of kun je beter iets anders testen dat sneller klaar is?
Stap drie: kies hoe je het verkeer verdeelt
Fifty-fifty is de standaard
Geef vijftig procent aan de controleversie. Vijftig procent aan de variant.
Voorzichtig verdelen vertraagt de resultaten
Sommige mensen kiezen negentig-tien. Negentig procent naar de huidige, goede versie en tien procent naar de nieuwe versie waar ze niet zeker van zijn. Dat is voorzichtig, maar het vertraagt de test.
Fifty-fifty is de standaard. Het geeft de snelste resultaten.
Stap vier: bepaal de testduur voordat je start
Leg je vast op een planning
Minimaal een week. Twee weken is standaard. Een maand voor sites met heel veel verkeer.
Bepaal de duur niet tijdens de test. Bepaal hem vooraf. Schrijf hem op. Houd je eraan.
Vroeg kijken verpest tests
Vroeg kijken verpest tests. Je checkt de resultaten na een week. Het lijkt of de variant wint. Je stopt de test. Je voert de wijziging door. Later merk je dat de resultaten niet echt waren. Je hebt iets doorgevoerd dat in werkelijkheid niet werkte.
Laat de test de volledige duur lopen.
Stap vijf: maak de aanpassing in de variant
Slechts één aanpassing
Slechts één aanpassing. Geen meerdere tegelijk.
Test je een eenvoudiger checkout, maak dan het formulier eenvoudiger. Verander niet tegelijk de kleur, de tekst en de opmaak. Eén variabele per keer.
Maak het duidelijk zichtbaar
De aanpassing moet opvallen. Bezoekers moeten het verschil merken. Is de wijziging zo subtiel dat bezoekers haar niet zien, dan werkt de test niet.
Stap zes: zet de test op in de tool
Kies je platform
Gebruik een testplatform. . . .
Installeren en instellen
Koppel de tool aan je website. Installeer de trackingcode. Meestal is dat één regel code of een plug-in.
Maak versies en meetwaarden aan
Maak de controleversie. Dat is de huidige versie.
Maak de variantversie. Voer je aanpassing door.
Stel de verdeling van het verkeer in. Vijftig procent elk.
Stel de duur in. Twee weken, of zo lang als je hebt bepaald.
Stel de succesmaat in. Wat meet je? Voltooide checkouts. Verzonden formulieren. Scrollen op de pagina.
Stap zeven: laat de test lopen zonder te kijken
Weersta de drang
Dit is moeilijk. Weersta de drang om de resultaten te checken.
Resultaten na een paar dagen betekenen niets. Bij een kleine steekproef is de toevallige variatie enorm. Je ziet resultaten die later verdwijnen.
Zet een herinnering in je agenda
Check de resultaten precies op de einddatum. Niet eerder.
Zet een herinnering in je agenda voor de einddatum van de test. Kijk dan pas.
Stap acht: analyseer de resultaten juist
Zoek naar statistische significantie
De test is klaar. Je kijkt naar de resultaten. De variant converteerde met elf procent. De controle met tien procent. De variant is beter. Toch?
Maar was het statistisch significant? Is dit echt of geluk?
Kijk naar het betrouwbaarheidsinterval of de p-waarde. Het betrouwbaarheidsniveau moet boven vijfennegentig procent liggen, of de p-waarde onder nul komma nul vijf.
Wat statistische significantie betekent
Zegt de statistische significantie ja, dan is het resultaat echt. Voer de variant door.
Zegt de statistische significantie nee, dan is het resultaat onduidelijk. Het kan geluk zijn. Het kan echt zijn, maar er was meer tijd nodig. Laat de test langer lopen of probeer een andere aanpassing.
Stap negen: voer door en documenteer
Als de variant wint
Wint de variant, voer hem dan permanent door.
Documenteer wat je hebt geleerd. Waarom je dacht dat het zou werken. Wat er gebeurde. Wat je hierna gaat testen.
Bouw een draaiboek. Na verloop van tijd ontstaan patronen. Je leert wat werkt voor jouw publiek.
Als de controle wint
Wint de controle, draai de aanpassing dan terug.
Documenteer waarom de controle won. Misschien klopte je hypothese niet. Misschien viel de aanpassing te weinig op. Misschien vond je publiek de verandering niet fijn.
Een verloren test is nog steeds leren.
Veelgemaakte fouten bij je eerste test
De test te kort laten lopen
Na een week word je ongeduldig. Je stopt. De resultaten zijn nog niet echt.
Meerdere aanpassingen testen
Je veranderde het formulier, de knop en de tekst. Het formulier wint, maar was het het formulier of de knop? Nu weet je het niet.
Geen eis voor significantie
De variant is één procent beter. Het kan geluk zijn. Je voert hem door. Later houdt het geen stand.
Op iedereen testen
Je bent nerveus over de wijziging. Je test op negentig procent huidig en tien procent nieuw. De test duurt eindeloos.
Je niet vastleggen op doorvoeren
De test is klaar. De variant wint. Je zegt: dat voeren we later door. Je doet het nooit. De test heeft geen waarde opgeleverd.
Wat winnaars onderscheidt van de rest
Niet slimmer testen
Niet slimmer testen. Consequent testen.
Het winnende patroon
Winnende bedrijven draaien een test. De resultaten komen binnen. Ze voeren direct door. Ze starten de volgende test.
Ze committeren zich aan een testprogramma. Geen losse tests, maar doorlopend testen. Maand na maand.
Ze bouwen interne kennis op. Na vijftig tests kennen ze hun publiek. Ze weten wat werkt. Ze weten wat niet werkt. Ze gaan sneller dan hun concurrenten.
Samengestelde groei
Test je één keer, dan gebeurt er niets. Test je vijftig keer, dan verandert alles.
Veelgestelde vragen
Wat als ik halverwege merk dat de test kapot is, bijvoorbeeld doordat de tracking niet meer werkt? Moet ik opnieuw beginnen?
Ja. Een kapotte test is nutteloos. Begin opnieuw. Als de tracking kapot is, heb je geen echte data. Daarom check je de test af en toe (niet obsessief, maar minstens één keer). Vang fouten vroeg af. Met de websitebouwer van WEMASY zet je dit direct op je eigen website op.
Mag ik mijn hypothese aanpassen terwijl de test loopt als er nieuwe informatie komt?
Nee. Schrijf de hypothese voordat de test start. Houd je eraan. Lijkt de hypothese halverwege fout, noteer dat dan. Maak de test toch af met de oorspronkelijke hypothese. Draai later een nieuwe test met een nieuwe hypothese.
Als de variant duidelijk slechter is, mag ik de test dan eerder stoppen?
Alleen als er iets stukgaat. Veroorzaakt de variant fouten, stop dan. Anders niet. Zelfs als je met een grote marge verliest, laat je de test de volledige duur lopen. Leer waarom het verloor. Gebruik dat inzicht.
Wat doe ik als de statistische significantie nee zegt, maar ik denk dat het resultaat echt is?
Draai de test opnieuw. Dezelfde aanpassing, maar met een langere duur of meer verkeer. Is het resultaat echt, dan komt het weer naar boven. Zo niet, dan klopte je intuïtie niet en de rekensom wel.
Hoe weet ik in de resultaten welke variant de controle is en welke de variant?
Je testtool geeft ze een label. Zorg dat je weet welke welke is voordat je begint. Maak een screenshot. De controle is versie A. De variant is versie B. Kijk bij de resultaten in je aantekeningen.
Moet ik mijn baas vertellen dat ik tests draai, of alleen de resultaten laten zien?
Vertel het haar. Dan begrijpt ze dat testen tijd kost. Stel verwachtingen. De test duurt twee weken. Wint de variant, dan voeren we hem door. Zo niet, dan proberen we iets anders. Openheid voorkomt verrassingen als je een wijziging niet doorvoert die zij verwachtte.