Het verschil tussen testprojecten en een testcultuur
Testproject
Voer een paar tests uit. Kijk wat werkt. Ga verder. Testen is een gereedschap dat je gebruikt als het nodig is. Daarna stop je.
Testcultuur
Voer continu tests uit. De winnaars van eerdere tests sturen de volgende test. Kennis stapelt zich op. Jaar na jaar bouwt testen voort op zichzelf.
Elke wijziging wordt getest. Elke beslissing is datagedreven. Testen is hoe je beslissingen neemt, geen project dat je af en toe draait.
Bedrijven met een testcultuur verslaan concurrenten zonder die cultuur. Niet met veel per test. Maar over de jaren groeit dat uit tot een enorm voordeel.
Draagvlak krijgen bij het management
Het probleem
De meeste testprogramma's mislukken omdat het management testen niet begrijpt of er niet voor kiest.
Wat het management hoort
Als je een testprogramma voorstelt, hoort het management: dit kost tijd en geld.
Wat het management moet horen
Laat geld zien. Voer één test uit. Bewijs dat het werkt. Reken de omzetimpact uit. Deze test verbeterde de conversie met twee procent. Dat levert vijftigduizend dollar extra jaaromzet op. De testtool kost twaalfduizend. Netto voordeel achtendertigduizend.
Nu ziet het management testen als investering, niet als kostenpost.
Een testroadmap opbouwen
Voer geen willekeurige tests uit
Maak een testroadmap. De roadmap wijst de gebieden met de meeste impact aan. Formulieren. Koppen. Aanbiedingen. Afrekenen. Elk gebied krijgt een testprioriteit.
Rangschik op impact
De roadmap zet tests in volgorde. Test eerst de items met de meeste impact. Daarna de middelgrote. Items met weinig impact komen later.
Commitment van het team
De roadmap legt teams vast op testen. Designers weten dat ze knopontwerpen testen. Product weet dat ze het aanbod testen. Iedereen weet wat eraan komt.
Maak een roadmap per kwartaal. Werk hem elke maand bij op basis van de resultaten. Planning per kwartaal houdt het team gefocust.
Eigenaarschap en verantwoordelijkheid toewijzen
Het probleem
Testen mislukt als niemand er eigenaar van is. Marketing zegt dat product verantwoordelijk is. Product zegt dat engineering verantwoordelijk is. Het testen gebeurt nooit.
De oplossing
Wijs een testeigenaar aan. Dat kan een growth manager zijn. Dat kan een productmanager zijn. Eén persoon is verantwoordelijk voor het testprogramma.
De testeigenaar stelt de roadmap op. Voert tests uit. Legt resultaten vast. Deelt wat is geleerd. Coördineert tussen teams. Zonder eigenaar loopt testen vast.
Teams leren denken in statistiek
Het probleem
De meeste mensen hebben geen statistiekopleiding. Ze kijken naar cijfers en gaan op hun gevoel af.
De variant scoort 9 procent. De controle scoort 8,8 procent. Het lijkt of de variant won. Wie geen statisticus is, denkt dat de variant beter is.
Een statisticus controleert het betrouwbaarheidsniveau. 82 procent. Onder de drempel van 95 procent. Niet significant. Het verschil kan toeval zijn.
De oplossing
Teams trainen in basisstatistiek voorkomt verkeerde beslissingen. Onderwerpen voor de training: wat is statistische significantie. Waarom 95 procent ertoe doet. Hoe je betrouwbaarheidsintervallen leest. Wat steekproefgrootte betekent.
Een goed testprogramma leert het team statistiek.
Gedeelde kennis en documentatie opbouwen
Waarom documentatie ertoe doet
Elke test leert je iets. Die kennis verdwijnt als je haar niet vastlegt.
Zo leg je vast
Maak een testarchief. Elke test krijgt een pagina. Hypothese. Resultaten. Wat je leerde.
Na vijftig tests heb je vijftig pagina's kennis. Een nieuw teamlid leest die vijftig pagina's en begrijpt wat werkt voor jouw publiek.
Goede documentatie: hypothese, resultaten, inzicht, wat je hierna test.
Slechte documentatie: test één won, test twee verloor. Geen inzicht.
Testen onderdeel maken van het proces
Vrijblijvend testen mislukt
Als testen optioneel is, stopt het zodra het druk wordt. Teams geven het minder prioriteit dan urgente projecten.
Verplicht testen blijft bestaan
Maak testen verplicht. Elke wijziging doorloopt het testproces. Een wijziging zonder test wordt niet goedgekeurd.
Dit vraagt een aanpassing van het proces. Maar zo gebeurt testen consequent.
Voorbeeld van een proces
Eén: stel een wijziging voor met een hypothese. Twee: krijg goedkeuring om te testen. Drie: voer de test twee weken uit. Vier: de testeigenaar keurt de resultaten goed. Vijf: als ze significant zijn, voer je de wijziging door. Zes: leg vast wat je leerde. Zeven: ontwerp de volgende test.
Successen vieren en delen
Het probleem
Een testprogramma sterft als successen onopgemerkt blijven.
De oplossing
Vier successen. Deel resultaten. Laat de impact zien. Maandelijkse e-mail: "Ons testprogramma verbeterde de conversie dit kwartaal met zeven procent. Dit zijn vijf tests die het verschil maakten. Dank aan de teams die ze hebben uitgevoerd."
Vieren geeft momentum. Bouwt cultuur. Geeft het geloof dat testen werkt.
Omgaan met de politiek rond testen
Het conflict
Iemand stelt een wijziging voor. De test laat zien dat de wijziging geen goed idee is. De voorsteller is gefrustreerd. Testen veroorzaakt conflict als resultaten botsen met aannames.
De oplossing
Presenteer testen als leermiddel. Niet als manier om mensen ongelijk te geven. Presenteer het als "laten we samen testen en leren".
Als een test laat zien dat iemand ernaast zat, zeg dan: "we hebben iets geleerd". Zie het als winst, niet als verlies. Mensen gaan in de verdediging als testen als bedreiging voelt. Mensen steunen testen als het als leren voelt.
De testsnelheid beheren
Agressieve aanpak
Voer tien tests per maand uit. Rond elke test in één week af. Snel leren. Meer kans op valse positieven. Hoger foutpercentage.
Voorzichtige aanpak
Voer drie tests per maand uit. Rond elke test af in twee tot drie weken. Langzamer leren. Lager foutpercentage. Veiliger.
Evenwichtige aanpak
De meeste bedrijven doen er goed aan evenwichtig te werken. Vijf tot zes tests per maand. Twee weken looptijd. Redelijk foutpercentage. Redelijk leertempo. Offer kwaliteit niet op voor snelheid. Eén test van hoge kwaliteit wint van tien tests van lage kwaliteit.
Afnemende meeropbrengsten begrijpen
Het patroon
De eerste twintig tests maken verschil. Elke test verbetert iets. De roadmap staat vol kansen met veel impact.
Test twintig tot veertig maken minder verschil. Je leert nog steeds, maar de verbeteringen zijn kleiner. Er zijn minder voor de hand liggende kansen.
Vanaf test veertig: de kansen zijn klein. De verbeteringen zijn minuscuul. Dat is normaal.
De oplossing
Zie afnemende meeropbrengsten niet als mislukt testen. Zie het als volwassenheid. In de fase van afnemende meeropbrengsten verschuif je de focus. In plaats van breed te testen, test je in nieuwe gebieden. Nieuwe producten. Nieuwe segmenten. Nieuwe markten.
Een testprogramma op lange termijn vol houden
Het risico
Een testprogramma loopt zes maanden sterk. Daarna vertraagt het. Mensen krijgen het druk. Testen krijgt minder prioriteit. Het programma dooft uit.
Zo houd je het vol
Een duurzaam programma vraagt blijvende inzet. Vraagt middelen. Vraagt eigenaarschap. Begroot testtools. Begroot een testverantwoordelijke. Neem testen op in de jaardoelen.
Als testen een jaarlijkse prioriteit is, gebeurt het. Als testen een extraatje is, stopt het.
Veelgestelde vragen
Hoe overtuig ik sceptische teamleden dat testen werkt?
Laat ze één test zien. Voer een eenvoudige test uit op een element met veel verkeer. Haal de resultaten op. Toon de winnende verbetering. Toon de omzetimpact. Eén geslaagde test maakt sceptici om. Resultaten spreken luider dan woorden. Voorbeeld: voer een test met knopkleur uit. Toon de resultaten: blauwe knop 9 procent conversie, rode knop 8,5 procent conversie. Dat is een verbetering van acht procent. Reken de impact uit: als je website tienduizend bezoekers per maand krijgt en twee procent converteert, zijn dat tweehonderd conversies per maand. Een verbetering van acht procent is zestien extra conversies per maand. Bij een gemiddelde orderwaarde van honderd dollar is dat zestienhonderd dollar extra omzet per maand. Negentienduizend dollar per jaar. Laat dit aan de sceptische collega zien. Scepsis verdwijnt als er geld mee gemoeid is. Met de Websitebouwer van WEMASY zet je dit direct op je eigen website op.
Moeten we testen uitstellen als we het druk hebben met projecten?
Nee. Testen hoort bij het opleveren van projecten. Elke projectwijziging wordt getest voordat je haar doorvoert. Testen kost geen extra tijd als het in het proces zit. Het voorkomt dat je dingen doorvoert die niet werken. Voorbeeld: je brengt een nieuwe afrekenflow uit. Zonder testen: doorvoeren, lanceren, ontdekken dat negentig procent van de bezoekers de nieuwe flow verwarrend vindt, terugdraaien, repareren, opnieuw lanceren. Samen drie weken. Met testen: test de nieuwe flow een week voor de lancering, ontdek problemen, repareer, lanceer een flow waar je op vertrouwt. Samen twee weken. Testen bespaart tijd doordat je slechte lanceringen voorkomt. Plan testen vanaf het begin in de tijdlijn, niet achteraf.
Hoe vaak moeten we oude testresultaten opnieuw bekijken?
Kijk opnieuw als de omstandigheden veranderen. Een nieuw seizoen. Een nieuwe concurrent. Een grote verandering in het bedrijf. Anders is elk testresultaat geldig voor zijn periode. Je hoeft niet steeds opnieuw te testen. Voorbeeld: je testte een aanbod in januari. Een geld-terug-garantie wint van tien procent korting. Je voerde de geld-terug-garantie in. Nu komt juli en een concurrent lanceert ook een geld-terug-garantie. Je voordeel verdwijnt. Moet je het aanbod opnieuw testen? Misschien. De zet van de concurrent veranderde de markt. Je winnaar is mogelijk niet meer relevant. Seizoensgebonden herhaling: test aanbiedingen in de Black Friday-periode. De resultaten kunnen in juli anders zijn, omdat het koopgedrag dan anders is. Test aanbiedingen in juli opnieuw. De resultaten sturen je strategie voor juli.
Moeten we testen voor onze gemiddelde bezoeker of voor een specifiek segment?
Begin met de gemiddelde bezoeker. Haal een basislijn op. Ga daarna per segment. Als je alleen voor een segment optimaliseert, lijdt de totale prestatie eronder. Voorbeeld: je test alleen op mobiel, omdat mobiel het meeste verkeer heeft. De basislijn op desktop is 10 procent. De basislijn op mobiel is 7 procent. Je optimaliseert voor mobiel en mobiel springt omhoog met een verbetering van acht procent. Maar de basislijn op desktop zakt naar 9 procent, omdat de wijzigingen op desktop niet werken. Je won op mobiel maar schaadde desktop. In totaal verloor je terrein. Test eerst breed om de algemene impact te begrijpen. Test daarna segmenten om per segment te optimaliseren.
Hoe houden we vaart als tests blijven verliezen?
Verliezende tests leren je wat niet werkt. Waardevolle data. Winnende tests komen nog. Blijf testen. Bouw voort op wat je van verliezers leert. Voorbeeld: test vijf koppen. Drie verliezen van de huidige kop. Twee winnen. De winnaars vertellen je wat werkt. De verliezers vertellen je waar je publiek niet op reageert. Je weet nu dat "dringende" boodschappen verliezen (mensen houden niet van druk). Je weet dat boodschappen met een "specifiek voordeel" winnen (mensen houden van duidelijkheid). De volgende test bouwt daarop voort. Test nog specifiekere voordelen. Tests bouwen op elkaar voort. Verliezende tests zijn geen mislukkingen. Het zijn datapunten.
Wat doen we als testen laat zien dat onze hele aanpak fout is?
Vier het. Je hebt iets waardevols geleerd. Verander nu van koers. Het is beter dit te leren via testen dan via stille omzetverliezen. Voorbeeld: je denkt dat je doelgroep een premiumproduct wil. De test laat zien dat je doelgroep de voorkeur geeft aan een budgetoptie. Je premium positionering was fout. Moment om te vieren: je hebt net iets geleerd dat je jarenlang geld had gekost als je niet had getest. Pas nu je strategie aan. Verander de boodschap naar budgetvriendelijk. Test de nieuwe positionering. Beter dit te ontdekken bij vijftigduizend dollar omzetverlies dan bij vijf miljoen dollar omzetverlies.