Een test te kort laten lopen (vroegtijdig kijken)
De fout
De grootste fout: de resultaten na één week bekijken, terwijl de test voor twee weken was gepland.
Waarom het een fout is
Eén week levert vierhonderd conversies per variant op. Twee weken levert er achthonderd op. Bij vierhonderd is de willekeurige ruis groter. Je ziet verschillen die verdwijnen als er meer data is.
Voorbeeld: week één laat bij de variant negen procent conversie zien. De controle zit op acht procent. Een winst van één procent lijkt echt. Je kijkt tussentijds en wordt enthousiast. Week twee: de variant zakt naar acht en een half procent. De controle blijft op acht procent. Een winst van een half procent. Nog steeds statistisch significant, maar veel kleiner dan week één liet zien.
Als je na week één was gestopt, had je het voordeel van de variant met vijftig procent overschat.
Zo voorkom je het
Leg de duur vast voordat je de test start. Twee weken is standaard. Schrijf het op. Kijk niet tussentijds. Zet een herinnering in je agenda voor de einddatum.
Meerdere wijzigingen tegelijk testen
De fout
Je verandert de kop. Je verandert de kleur van de knop. Je verandert de knoptekst. Je verandert de formuliervelden. Vier wijzigingen tegelijk.
Waarom het een fout is
De variant converteert op twaalf procent. De controle op tien procent. Twee procent winst. Je voert alle vier de wijzigingen door.
Een maand later: de conversie zakt naar negen procent. Er is iets stukgegaan. Maar welke wijziging? De kop, de knop of het formulier? Je hebt vier dingen veranderd en weet niet welke schade deed. Je kunt niet leren welke wijziging hielp en welke schaadde.
Zo voorkom je het
Maar één wijziging tegelijk. Verander alleen de kop. Test die. Voer hem door als hij wint. Test daarna de kleur van de knop. Dan het formulier. Eén variabele tegelijk.
Trackingfouten en kapotte tests
De fout
De test loopt twee weken. De resultaten laten de variant met vijf procent winnen. Je voert door. Een maand later blijkt de tracking kapot te zijn. De conversiepixel ging voor negentig procent van de bezoekers niet af.
Waarom het een fout is
De resultaten zijn waardeloos. Je beslissing was gebaseerd op slechte data. Je hebt ontwikkeltijd besteed aan iets op basis van ongeldige resultaten.
Zo voorkom je het
Controleer de testopzet steekproefsgewijs. Doorloop zelf een simpele flow. Gaat het event af? Check de trackinglogs. Controleer of de pixel afgaat. Controleer de tracking voordat je een winnaar uitroept.
Een te kleine steekproef
De fout
Je draait een test met maar vijfhonderd conversies in totaal. Tweehonderdvijftig per variant. Bij zo'n kleine steekproef is de willekeurige ruis enorm. Verschillen van vijf procent komen vaak voor. Verschillen van tien procent zijn niet verrassend.
Je ziet dat de variant vijf procent hoger scoort dan de controle. Geen statistische significantie. Je verklaart de test niet-conclusief.
Waarom het een fout is
Je test had van meet af aan te weinig power. Je had moeten weten dat de test twee weken nodig had, niet één. Tests met te weinig power kosten tijd en leveren geen conclusies op.
Zo voorkom je het
Bereken de steekproefomvang voordat je begint. Hoeveel conversies heb je nodig? Hoe lang duurt het om die te halen? Duurt de test drie maanden, test dan liever iets anders dat sneller resultaat geeft.
Externe factoren niet in de hand houden
De fout
Je draait de test van dinsdag tot en met donderdag. Je hebt de resultaten van maandag, vóór de test, en die van vrijdag, na de test. Je vergelijkt vrijdag met maandag.
Maar op vrijdag komt ander verkeer dan op maandag. Vrijdag is vrijblijvend rondkijken in het weekend. Maandag is werkgerelateerd surfen op een werkdag. Ander publiek. Andere conversiepercentages. Je schrijft het verschil toe aan de test, terwijl het in werkelijkheid een verschil in samenstelling is.
Waarom het een fout is
Je voerde een wijziging door op basis van een verschil in verkeerssamenstelling, niet omdat de variant beter werkt. Zodra er verkeer met een andere samenstelling komt, houden de resultaten geen stand.
Zo voorkom je het
Laat de test lang genoeg lopen om de verkeerssamenstelling in balans te brengen. Twee weken omvatten werkdagen en weekenden. Eén week kan scheef zijn.
De hypothese tijdens de test wijzigen
De fout
Je start de test met de hypothese: een korter formulier levert meer inzendingen op.
Halverwege krijg je nieuwe data van de klantenservice. Klanten willen meer keuze in velden. Je past de hypothese aan: meer velden kunnen juist helpen. Nu analyseer je een test die voor de ene hypothese is ontworpen alsof het een andere hypothese was.
Waarom het een fout is
Het vertroebelt de resultaten. Je kunt niet meer zeggen welke hypothese de test echt toetste. Je voert misschien door op basis van een verwarde interpretatie.
Zo voorkom je het
Schrijf de hypothese op voordat je de test start. Houd je eraan. Krijg je nieuwe informatie en wil je een andere hypothese testen, maak dan eerst de lopende test af. Draai daarna een nieuwe test.
Winnaars niet doorvoeren
De fout
De test is klaar. De variant wint. Je zegt: "we voeren het later door." Later komt nooit. De test leverde niets op. Je hebt tijd verspild.
Waarom het een fout is
Winnaars leveren alleen waarde op als je ze doorvoert. Een testprogramma bouwt alleen op als je winnaars consequent doorvoert. Eén winnaar die blijft liggen, doodt het momentum en het vertrouwen van het team in testen.
Zo voorkom je het
Leg de doorvoering vast voordat je de test draait. Wint de variant, voer hem dan binnen een week door. Wint de controle, draai de wijziging dan meteen terug. Laat winnaars niet verslonzen.
Resultaten niet segmenteren
De fout
De totaalresultaten laten de variant winnen. Je voert overal door.
Maar de segmenten laten zien: op desktop wint de variant. Op mobiel verliest hij. Bij internationaal verkeer heeft hij geen effect. Overal doorvoeren schaadt mobiele en internationale bezoekers.
Waarom het een fout is
Je optimaliseerde voor het totale gemiddelde, maar schaadde specifieke segmenten. Mobiel verkeer groeit misschien sneller dan desktop. Door de variant door te voeren schaad je het segment waar de groei zit.
Zo voorkom je het
Check altijd de segmentresultaten voordat je een algemene winnaar uitroept. Een winnaar is niet altijd universeel. Voer door voor segmenten waar hij wint. Sla segmenten over waar dat niet zo is.
Een winnaar verwarren met de richting van het oorzakelijk verband
De fout
De test laat zien dat de variant de controle verslaat. Je neemt aan dat de variant beter is. Maar wat als de controle gewoon kapot is? De knop in de controle werkt niet. Iedereen raakt in de war. De knop in de variant werkt prima. De variant wint omdat de controle kapot is, niet omdat de variant op zich beter is.
Waarom het een fout is
Je trekt de verkeerde les. Je denkt dat de knopstijl wint, terwijl je eigenlijk leerde: "een werkende knop wint van een kapotte knop." Dat heeft andere gevolgen voor toekomstige tests.
Zo voorkom je het
Begrijp waarom de variant won. Was de variant beter, of was de controle slechter? De gevolgen verschillen.
Dezelfde test herhalen in de hoop op een ander resultaat
De fout
Test één: de variant verliest van de controle. Je probeert het opnieuw met een kleine aanpassing. Test twee: hetzelfde resultaat. De controle wint weer. Je probeert het opnieuw. Test drie: hetzelfde patroon. De controle blijft winnen.
Je test steeds hetzelfde en krijgt steeds hetzelfde resultaat.
Waarom het een fout is
Je verspilt testbudget aan een aanpak die niet werkt. Het is beter om over te stappen op een andere aanpak dan steeds dezelfde verliezende strategie te testen.
Zo voorkom je het
Stop met hetzelfde testen. Je hebt een andere strategie nodig. De huidige aanpak werkt niet. Schakel over op een andere variant.
Resultaten en lessen niet vastleggen
De fout
De test is klaar. De resultaten tonen een winnaar. Je voert door. En vergeet het daarna.
Zes maanden later vraagt een nieuwe collega: "wat hebben we geleerd over koppen?" Je hebt geen documentatie. Je begint opnieuw.
Waarom het een fout is
Je verliest kennis die in het bedrijf zit. Elke test moet je iets leren. Zonder documentatie verdwijnt die kennis als collega's vertrekken.
Zo voorkom je het
Documenteer elke test. Hypothese. Resultaten. Les. Deel het met het team. Bouw kennis op binnen je bedrijf.
Veelgestelde vragen
Kijk ik tussentijds mee als ik de testresultaten één keer per week bekijk?
Niet als je je aan een looptijd van twee weken houdt en je gedrag niet aanpast op basis van de resultaten van week één. Je volgt de test, maar stopt niet vroegtijdig. Kijken is prima. Vroeg stoppen is meekijken met gevolgen. Voorbeeld: week één laat de variant op negen procent zien, de controle op acht procent. De variant lijkt de winnaar. Voer nog niet door. Houd de volle twee weken vol. Week twee kan de variant op acht komma acht procent laten zien en de controle op acht procent. Dan blijkt het verschil kleiner. Was je na week één gestopt, dan had je het voordeel met vijftig procent overschat. Leg de duur vast, kijk wekelijks als je wilt, maar handel niet op voorlopige resultaten. Met de Websitebouwer van WEMASY stel je dit direct op je website in.
Kan ik twee vergelijkbare dingen tegelijk testen (verschillende koppen in verschillende regio's)?
Ja, als de regio's echt gescheiden zijn en je ze niet met elkaar vergelijkt. Test kop A tegen B op verkeer uit de VS. Test kop C tegen D op verkeer uit de EU. Aparte tests. Parallel testen is prima. Maar vergelijk A niet met C over regio's heen, want de samenstelling verschilt. Regionale doelgroepen converteren anders. De VS kan een basis van twaalf procent hebben. De EU een basis van acht procent. Kop A wint in de VS. Kop C wint in de EU. Je kunt niet concluderen dat kop A universeel beter is, omdat de regio's andere basiswaarden hebben. Test parallel, maar analyseer apart.
Als de resultaten geen significant verschil tonen, mag ik dan aannemen dat de varianten gelijk zijn?
Nee. Ga ervan uit dat het verschil onduidelijk is. Ze kunnen gelijk zijn. Ze kunnen verschillen, maar je had meer data nodig om dat te zien. Voorbeeld: controle vijfhonderd conversies. Variant vijfhonderdvijf conversies. Eén procent verschil. Achtentachtig procent zekerheid. Niet significant. Je kunt niet concluderen dat ze gelijk zijn. Je kunt alleen concluderen dat het verschil onduidelijk is. Opties: laat de test langer lopen voor meer data. Of kies voor de variant als die makkelijker door te voeren is dan de controle, want in het slechtste geval zijn ze gelijk en in het beste geval is de variant beter. Is de controle makkelijker, houd dan de controle.
Wat als mijn test een significant resultaat laat zien dat intuïtief niet klopt?
Vertrouw op statistiek, niet op intuïtie. Wiskunde is slimmer dan intuïtie. Als de statistiek zegt dat het resultaat echt is (vijfennegentig procent zekerheid), dan is dat waarschijnlijk zo. Je intuïtie kan fout zijn. Die is gebaseerd op beperkte ervaring. Statistiek is gebaseerd op duizenden datapunten van bezoekers. Voer door op basis van statistiek. Voorbeeld: je denkt dat een rode knop beter presteert dan een blauwe. De test laat zien dat de blauwe knop significant wint. Je intuïtie zat ernaast. Voer de blauwe knop door. Op je intuïtie vertrouwen en de testdata negeren had de rode knop opgeleverd en de conversie geschaad.
Kan ik meerdere kleine, niet-significante resultaten combineren tot één groot significant resultaat?
Nee. Elke test staat op zichzelf. Je kunt niet-conclusieve tests niet combineren tot één conclusief resultaat. Test één toont vijfentachtig procent zekerheid dat de variant wint. Test twee toont tachtig procent zekerheid dat dezelfde variant wint. Samen vijfennegentig procent zekerheid? Nee. Zo werkt statistiek niet. Elke test is onafhankelijk. Ze combineren is statistische onzin. Draai vanaf het begin een test met de juiste omvang en power. Je hebt significantie of je hebt die niet.
Als een test een sterk resultaat voor een segment laat zien maar een zwak totaalresultaat, welke voer ik dan door?
Voer alleen door voor het segment als het sterke resultaat voor dat segment statistisch significant is. Is het segment klein (tien procent van het verkeer), dan is de significantiedrempel moeilijker te halen. Het kan een vals positief resultaat zijn. Check de significantie specifiek voor het segment, niet alleen in totaal. Voorbeeld: de totaaltest laat de variant op negen procent zien, de controle op acht komma negen procent. Net significant. Maar het desktopsegment laat de variant op tien procent zien en de controle op acht procent. Twee procent winst op desktop. Sterk en significant voor desktop. Het mobiele segment laat de variant op acht procent zien en de controle op acht procent. Geen verschil. Voer alleen door voor desktop. Niet voor mobiel. Verschillende segmenten hebben verschillende optimale varianten.