Afwijkingsdetectie: ongewone veranderingen in je data automatisch zien

Je conversiepercentage daalt dinsdag met 15%. Je merkt het pas donderdag, als je je dashboard bekijkt. Twee dagen omzet verloren, en je weet nog steeds niet waarom. Een systeem voor afwijkingsdetectie had je woensdagochtend gewaarschuwd: "Conversie gisteren 15% lager, mobiele checkout geraakt." Nu zoek je meteen uit wat er aan de hand is. Je ziet dat een release de mobiele betalingen brak. Je lost het diezelfde middag op. Afwijkingsdetectie is het verschil tussen problemen dagen later vinden en ze binnen uren vinden.

Afwijkingsdetectie is een systeem dat je metingen continu volgt en je waarschuwt als er iets ongewoons gebeurt. Het wacht niet tot jij je dashboard bekijkt. Het kent je basislijn (hoe "normaal" eruitziet), vergelijkt elke dag met die basislijn en markeert afwijkingen. Een piek in verkeer, een daling in conversie, afnemende betrokkenheid: het systeem vangt ze automatisch op en meldt ze voordat ze rampen worden.

Wat doet afwijkingsdetectie precies?

Neem een willekeurige meting en je ziet hetzelfde patroon: ze schommelt vanzelf. Het conversiepercentage is nooit elke dag precies gelijk. Verkeer verschilt per dag van de week. Mobiel converteert anders dan desktop. Stel je een melding in bij "conversie onder 2,5%", dan krijg je valse alarmen, omdat de conversie op sommige dagen gewoon naar 2,4% zakt. Afwijkingsdetectie lost dit op door te leren hoe normale schommelingen eruitzien en alleen te waarschuwen als iets buiten dat natuurlijke bereik valt.

Het systeem leert je basislijn uit historische data. Het beantwoordt: wat is voor deze meting, op deze dag van de week, bij dit verkeersvolume, het verwachte bereik? Conversie op woensdag ligt normaal tussen 2,1% en 2,9%. Mobiele conversie ligt normaal tussen 1,8% en 2,4%. E-mailverkeer converteert normaal tussen 4% en 6%. Het systeem bouwt een model van normaal gedrag voor elke combinatie van omstandigheden.

Komt er een nieuw datapunt binnen, dan vergelijkt het systeem het met het verwachte bereik. Valt de conversie van vandaag binnen het normale bereik voor een woensdag? Ja, 2,5%, helemaal normaal. Valt de conversie van morgen binnen het normale bereik voor een donderdag? Nee, 1,2%, dat is een afwijking. Waarschuw het team. Zij zoeken uit wat er aan de hand is en zien dat de mobiele checkout kapot is. Zonder afwijkingsdetectie ontdekken ze dit vrijdagmiddag. Mét afwijkingsdetectie weten ze het woensdagochtend.

Verschillende soorten afwijkingen geven verschillende meldingen. Een plotselinge piek (verkeer 200% boven normaal) wordt gemarkeerd. Een plotselinge daling (conversie 50% onder normaal) wordt gemarkeerd. Een geleidelijke achteruitgang (conversie zakt een week lang langzaam) wordt gemarkeerd. Een terugkerend patroon dat opeens breekt (mobiel converteert altijd 20% beter dan desktop, maar deze week is het gelijk) wordt gemarkeerd. Het systeem let op al deze dingen.

Waarom is problemen vroeg vinden zo belangrijk?

Kijk hoe de meeste merken problemen ontdekken en je ziet het patroon: reactief ontdekken. Een klant mailt dat de checkout kapot is. Je bekijkt je dashboard en bevestigt het. Of je merkt donderdag dat maandag vreemd was en probeert uit te zoeken wat er gebeurde. Dat zijn uren of dagen aan gemiste kansen.

Op grote schaal loopt de prijs van vertraging op. Een webshop met $1 miljoen omzet per dag die door een bug 15% conversie verliest, betaalt $150.000 per dag. Twee dagen vertraging kosten $300.000. Als afwijkingsdetectie het 6 uur eerder vangt, bespaar je $37.500. Een SaaS-bedrijf met 5.000 gebruikers dat 2% extra vertrek ziet, verliest 100 gebruikers. Twee weken vertraging betekent 1.400 verloren gebruikers. Meteen ingrijpen betekent 100. Het verschil is duizenden dollars aan terugkerende jaaromzet.

Snelheid beïnvloedt ook je reputatie. Een klantenservice wil problemen weten voordat klanten ze melden. Met afwijkingsdetectie kun je klanten mailen: "We zagen woensdagochtend een probleem met je account en hebben het 's middags opgelost." Zonder klagen klanten vrijdag, zeg jij "we zoeken het uit", en zijn ze al overgestapt naar een concurrent. De psychologie van "wij zagen het" tegenover "jij meldde het" verandert hoe klanten je zien.

Snelheid maakt experimenteren mogelijk. Als je een wijziging doorvoert en de gevolgen binnen uren ziet, kun je sneller bijsturen. Zonder afwijkingsdetectie laat je een experiment een week lopen, bekijk je de resultaten en stuur je dan bij. Met afwijkingsdetectie zie je binnen 24 uur of een wijziging hielp of schaadde. Dat snelheidsvoordeel groeit over een jaar flink aan.

Welke soorten afwijkingen wil je echt vangen?

Niet elke afwijking is het vangen waard. Sommige schommelingen zijn normaal. Maar sommige tellen mee voor zakelijke beslissingen. De kunst is afwijkingsdetectie in te stellen voor metingen die, als ze onverwacht veranderen, meteen actie vragen.

Afwijkingen die omzet raken hebben de hoogste prioriteit. Een dalend conversiepercentage, een afnemende gemiddelde orderwaarde, een piek in verlaten checkouts: ze raken direct je omzet. Stel meldingen in voor al deze. Daalt de conversie met 10%, dan wil je dat meteen weten, niet pas na het weekend.

Afwijkingen in gebruikersbetrokkenheid zijn belangrijk omdat ze problemen voorspellen. Een kortere sessieduur, afnemend gebruik van functies, minder vaak inloggen: het zijn vroege waarschuwingen voor vertrek. Een daling in betrokkenheid deze week voorspelt een daling in retentie volgende maand. Vang het nu op en je hebt tijd om in te grijpen.

Afwijkingen in verkeer zijn belangrijk omdat ze problemen met bereik of werving laten zien. Een piek in organisch verkeer betekent dat je SEO werkt (goed). Een daling in organisch verkeer betekent dat er iets misging in zoekmachines (slecht). Dalend betaald verkeer betekent dat je advertentiecampagnes achterblijven (slecht). Stel een melding in voor onverwachte veranderingen in verkeersbronnen.

Afwijkingen in kwaliteit zijn belangrijk omdat ze stille killers zijn. Een stijgend bouncepercentage betekent dat je site minder relevant wordt. Minder pagina's per sessie betekent dat gebruikers sneller vinden wat ze nodig hebben (goed) of niet vinden wat ze zoeken (slecht). Een piek in sessiefouten betekent dat je site kapotgaat. Dit zie je niet als je niet goed oplet.

Hoe stel je afwijkingsdetectie in zonder valse alarmen?

Vraag een analyticsteam naar valse alarmen en je hoort dezelfde klacht: alarmmoeheid. Als elke kleine schommeling een melding geeft, stopt het team met lezen. Ze raken afgestompt. Echte problemen verdwijnen in de ruis. De kunst van goede afwijkingsdetectie is drempels instellen die echte problemen vangen en natuurlijke schommelingen negeren.

Begin met de metingen die voor je bedrijf het belangrijkst zijn. Niet elke meting heeft afwijkingsdetectie nodig. Richt je op omzetmetingen (conversie, orderwaarde, vertrek), metingen van gebruikersgezondheid (betrokkenheid, retentie, gebruik van functies) en metingen van systeemgezondheid (fouten, vertraging, beschikbaarheid). Dat zijn de metingen waarbij je meteen moet handelen als ze veranderen.

Stel de gevoeligheid af op de schommeling. Sommige metingen schommelen van nature. Verkeer springt van dag tot dag. Stel drempels voor afwijkingen ruim genoeg in om die natuurlijke schommeling op te vangen. Bij het conversiepercentage kan een afwijking van 20% normaal zijn; markeer pas bij 30% of meer. Bij omzet kan een afwijking van 5% normaal zijn. Bij betrokkenheid kan een afwijking van 15% normaal zijn. De drempels hangen af van je historische data.

Bouw context in. De dag van de week telt. Zaterdag heeft meestal andere patronen dan woensdag. Feestdagen hebben andere patronen dan gewone dagen. Afwijkingsdetectie moet daar rekening mee houden. "Conversie onder 1,5% op een zondag" kan normaal zijn. "Conversie onder 1,5% op een woensdag" is een afwijking. Goede systemen leren deze patronen automatisch.

Begin voorzichtig en maak de drempels na verloop van tijd strakker. Weet je niet zeker welke drempels je moet nemen, stel ze dan ruim in. Het is beter om een paar afwijkingen te missen dan het team te overspoelen met valse alarmen. Als je vertrouwen in het systeem groeit en het team gewend raakt aan het lezen van meldingen, maak je de drempels strakker en vang je kleinere afwijkingen.

Wat zijn de grenzen van afwijkingsdetectie?

Afwijkingsdetectie vindt afwijkingen van wat normaal is. Maar "normaal" is wat je historische data als normaal aanwijst. Is je data fout of scheef, dan mist het systeem echte problemen of geeft het valse meldingen. Had je drie maanden een bug die je conversiepercentage kunstmatig opblies, dan leerde het systeem dat opgeblazen percentage als "normaal". Los je de bug op, dan zakt de conversie naar het echte normale niveau en markeert het systeem dat als afwijking.

Afwijkingsdetectie verklaart geen oorzaken. Het zegt dat er iets veranderd is. Het zegt niet waarom. Is de conversie gedaald, dan moet je nog steeds onderzoeken wat er aan de hand is. Is het een technisch probleem? Een verandering in de markt? Een zet van een concurrent? Concurrentie van een nieuwe speler? Afwijkingsdetectie laat het probleem zien. De diagnose blijft mensenwerk.

Afwijkingsdetectie werkt slecht op heel kleine schaal. Heb je 100 bezoekers per dag, dan is de toevalsschommeling enorm. Elke dag lijkt een afwijking ten opzichte van de rest. Afwijkingsdetectie werkt het best op grotere schaal, waar patronen stabiel zijn. Een SaaS-bedrijf met 50.000 gebruikers per maand heeft schone, stabiele patronen. Eén met 500 gebruikers per maand heeft te veel ruis.

Geleidelijke veranderingen kunnen aan afwijkingsdetectie ontsnappen. Daalt de conversie langzaam (0,5% per week), dan markeert het systeem dat misschien niet, omdat elke week maar een klein beetje afwijkt van de week ervoor. Misschien merk je het pas als je 10% totaal lager zit. Om geleidelijke achteruitgang te vangen heb je naast detectie op één moment ook trendanalyse nodig.