Een productmanager brengt een functie uit. De functie moet een klantprobleem oplossen en klanten behouden.
Twee weken na de lancering: verlaagt de functie de churn? Gebruiken meer klanten de functie? Besteden klanten meer tijd in de functie?
Zonder productdashboard wacht de productmanager zes weken op het maandrapport om het effect van de functie te zien. Dan is de feedback van klanten koud. Bijsturen kan niet meer.
Met een productdashboard ziet de productmanager na twee weken: het gebruik van de functie is vijf procent (het doel was twintig procent in week twee). Het probleem is direct zichtbaar. De productmanager onderzoekt het. Ontdekt dat de functie moeilijk te vinden is. Voegt een onboardingbericht toe. Het gebruik stijgt naar vijftien procent in week vier.
Productdashboards: gebruik van functies en betrokkenheid
Gebruikspercentage van een functie
De functie is twee weken geleden gelanceerd. Gebruikers die hem kunnen gebruiken: tienduizend. Gebruikers die hem hebben gebruikt: vijfhonderd. Gebruikspercentage: vijf procent. Het doel was twintig procent in week vier. Nu loopt het achter. Onderzoek is nodig.
Betrokkenheid bij een functie
Van de vijfhonderd gebruikers die de functie probeerden: hoeveel gebruiken hem dagelijks? Tweehonderd. Hoeveel wekelijks? Driehonderd. Hoeveel hebben hem verlaten? Tweehonderd. Betrokkenheid: veertig procent dagelijks, zestig procent wekelijks, veertig procent verlaten. Het verlaten is te hoog. De functie blijft niet hangen.
Tijd besteed in de functie
Een gemiddelde sessie in de functie duurt twee minuten. Vóór de functie was de gemiddelde sessietijd op de site tien minuten. De functie trekt gebruikers weg bij andere functies. Is dat de bedoeling? Verving de functie een oudere functie of is hij een toevoeging?
Effect op behoud
Klanten die de functie gebruikten: acht procent churn per maand. Klanten die de functie niet gebruikten: twaalf procent churn per maand. De functie werkt. Churn verbetert met vier procentpunten. Bij een klantenbestand van duizend zijn dat veertig klanten minder per maand. Veertig keer vijftig (gemiddelde klantwaarde) is tweeduizend omzet bespaard per maand.
Operationele dashboards: gezondheid en prestaties van systemen
Beschikbaarheid van het systeem
De website was vorige week 99,95 procent van de tijd bereikbaar. Het doel is 99,99 procent. We zitten onder het doel. Twee storingen: één van tien minuten, één van vijftien minuten. Samen vijfentwintig minuten uitval. Wat veroorzaakte de storingen? Zijn ze te voorkomen?
Responstijd
De gemiddelde responstijd van de API is tweehonderd milliseconden. De P95-responstijd is vijfhonderd milliseconden (95 procent van de verzoeken is sneller, vijf procent trager). P99 is één seconde. Trage responstijden komen af en toe voor. Zijn ze acceptabel?
Foutenpercentage
Een procent van de API-verzoeken gaf een fout. Vorige week was dat 0,5 procent. Het foutenpercentage verdubbelde. Wat is er veranderd? Een databasequery is trager. Responstijden namen toe. Klanten krijgen time-outs en proberen opnieuw. Onderzoek is nodig.
Connectiepool van de database
De pool heeft honderd verbindingen. Nu zijn er honderd open (volledig in gebruik). Er zijn geen verbindingen meer beschikbaar. Komt er nog een verzoek binnen, dan komt dat in de wachtrij. De gebruiker merkt wachttijd. De pool zit aan de limiet. De pool moet groter of het gebruik moet omlaag.
Cache-hitpercentage
De cache wordt in vijftig procent van de gevallen geraakt. Vijftig procent van het verkeer heeft geen databasequery nodig. Een cache-misspercentage van vijftig procent is voor de meeste sites acceptabel. Onder veertig procent raakt de database overbelast. Boven zeventig procent cache je te veel.
Voorbeeld uit de praktijk: een product- en operationeel dashboard voor SaaS
Productmetrics
Nieuwe dashboardfunctie: gelanceerd in maand één. Gebruikers die hem kunnen gebruiken: vijfduizend (klanten met meer dan tien datapunten). Gebruikers die een dashboard maakten: duizend. Gebruikspercentage: twintig procent. Op doel.
Van de duizend die een dashboard maakten: dagelijks actief: zeshonderd. Goede betrokkenheid. Wekelijks actief: negenhonderd. De meesten gebruiken het minstens wekelijks. Verlaten: honderd. Tien procent churn.
Effect op behoud: klanten met actieve dashboards hebben twee procent churn per maand. Klanten zonder dashboards hebben vier procent churn per maand. Het dashboard verlaagt de churn met twee punten. Bij een klantenbestand van duizend zijn dat twintig klanten. Bij honderd dollar maandwaarde per klant is dat tweeduizend omzet bespaard per maand. Vierentwintigduizend per jaar.
Operationele metrics
Beschikbaarheid vorige maand: 99,92 procent. Doel: 99,95 procent. We misten het doel.
Storingen: Eén incident: tien minuten, betalingsverwerking uitgevallen. Oorzaak: de failover van de database duurde te lang. Eén incident: vijftien minuten, piek in API-time-outs. Oorzaak: een verkeerspiek plus een trage databasequery.
Responstijd: Gemiddeld: honderdvijftig milliseconden. Goed. P95: driehonderd milliseconden. Acceptabel. P99: één seconde. Dit is te hoog. Een procent van de klanten wacht een seconde. Optimalisatie nodig.
Foutenpercentage: 0,8 procent. Twee weken geleden was het 0,4 procent. Onderzoek laat zien: fouten bij betalingsverwerking namen toe doordat de betaalprovider vorige week een storing had (niet onze schuld), API-fouten namen toe doordat we een codewijziging uitrolden die één endpoint brak (onze schuld).
Database: Gemiddelde querytijd: dertig milliseconden. Gebruik van de connectiepool: tachtig procent. Gezond. Percentage trage queries: 0,2 procent. Acceptabel.
Cache-hitpercentage: vijfenzestig procent. Gezond.
Product- en operationele dashboards aan elkaar koppelen
Het gebruik van functies hangt af van de prestaties van het systeem. Is het systeem traag, dan lijdt het gebruik van functies eronder. De nieuwe dashboardfunctie heeft een laag gebruik. Bekijk het operationele dashboard. De P99-responstijd is één seconde. Gebruikers merken vertraging bij het openen van het dashboard. Voeg toe aan het onderzoek: veroorzaken trage prestaties het lage gebruik? Zo ja, optimaliseer dan eerst de prestaties van het systeem. Meet het gebruik daarna opnieuw.
Systeemprestaties worden gemeten op beschikbaarheid, niet op het effect van functies. Maar het effect van functies hangt af van beschikbaarheid. Koppel de twee dashboards. Gaan de operationele metrics achteruit, dan gaan de productmetrics ook achteruit.
Veelgestelde vragen
Hoe vaak moet de productmanager het gebruik van functies bekijken?
Eerste week: dagelijks. De functie is net gelanceerd, de gebruikscurve is het steilst. Je moet problemen vroeg opvangen. Week twee tot vier: drie keer per week. De gebruikscurve vlakt af. Wekelijkse updates zijn genoeg. Na de eerste maand: wekelijks. Het gebruik is gestabiliseerd of groeit gestaag. Wekelijks kijken is genoeg. Uitzondering: is de functie kritiek of ligt het vroege gebruik onder het doel, dan blijft dagelijkse monitoring doorgaan tot het probleem is opgelost. Met de websitebouwer van WEMASY zet je dit direct op je eigen website op.
Wat is een acceptabel gebruikspercentage per week?
Week één: vijf tot vijftien procent (mensen proberen het). Week twee: tien tot dertig procent (mond-tot-mondreclame verspreidt zich). Maand één: twintig tot vijftig procent (het gestabiliseerde percentage). Het verschilt per functie. Spelfuncties kunnen negentig procent gebruik halen. Functies voor compliance halen misschien maar tien procent. Het doel moet gebaseerd zijn op het gebruikerssegment en het belang van de functie, niet op een algemene benchmark. Bepaal voor de lancering: is deze functie voor iedereen of alleen voor een segment? Dat bepaalt het doel.
Hoe maken we onderscheid tussen gebruik en betrokkenheid?
Gebruik is het proberen van een functie (hebben ze hem minstens één keer gebruikt). Betrokkenheid is herhaald gebruik (dagelijks, wekelijks, maandelijks). Een functie kan veel gebruik en lage betrokkenheid hebben (iedereen probeerde hem, weinigen bleven). Een functie kan weinig gebruik en hoge betrokkenheid hebben (weinigen probeerden hem, maar die waren er dol op). Beide metrics tellen. Veel gebruik plus hoge betrokkenheid is succes. Lage betrokkenheid betekent dat de functie geen echt probleem oplost. Weinig gebruik betekent een probleem met vindbaarheid.
Moet een productdashboard klantfeedback bevatten of alleen metrics?
Neem beide op. Metrics laten zien wat klanten doen. Feedback laat zien waarom. Vijfhonderd gebruikers verlieten de functie (metric). Feedback zegt "de functie is moeilijk te vinden" of "de functie lost mijn probleem niet op" (waarom). Metrics zonder feedback zijn onvolledig. Voeg een feedbackdeel toe met de drie belangrijkste redenen voor churn of verlaten, op basis van supporttickets en enquêtes. Invoering: voeg een opmerkingenveld toe aan de functie. Lees wekelijks de twintig belangrijkste gebruikersopmerkingen en deel ze in thema's in. Rapporteer de thema's op het dashboard.
Hoe stellen we doelen voor beschikbaarheid en responstijd?
Baseer doelen op de impact voor klanten en op normen in de branche. Voor het afrekenen in een webshop: beschikbaarheid 99,9 procent, responstijd onder twee seconden. Voor een marketingsite: beschikbaarheid 99 procent, responstijd onder drie seconden. Voor interne tools: beschikbaarheid 95 procent, responstijd onder vijf seconden. Hoe kritieker de dienst, hoe strenger het doel. Weet bij het stellen van een doel welke investering nodig is. 99,99 procent beschikbaarheid (vier negens) kost drie tot vier keer meer dan 99 procent beschikbaarheid (twee negens). Zorg dat het doel de kosten waard is.
Moet het operationele dashboard waarschuwingen geven of alleen de status tonen?
Allebei. Het dashboard toont de huidige status. Waarschuwingen gaan af als drempels worden overschreden. Gaat het foutenpercentage vijf minuten lang boven één procent, dan gaat er een waarschuwing af. De waarschuwing gaat naar de engineer in bereikbaarheidsdienst, die het onderzoekt. Het dashboard is voor monitoring tijdens normale uren. De waarschuwing is voor buiten kantooruren of kritieke situaties. Geen van beide is op zichzelf genoeg. Een dashboard zonder waarschuwingen betekent dat problemen tijdens werkuren worden ontdekt. Een waarschuwing zonder dashboard betekent dat het team blind is voor langzame verslechtering tot de waarschuwing afgaat. Gebruik ze samen.