Je verkeer verdubbelt ineens. Mooi. Dan zie je dat de piek uit één land komt waar je niet levert, en steeds dezelfde pagina bezoekt. Bots.
Botverkeer is standaard onzichtbaar. Het komt in je analytics-rapporten binnen als echte bezoekers. Het blaast je cijfers op, bederft je conversiepercentages en maakt het onmogelijk te zien wat echt werkt.
Wat telt als botverkeer
Niet al het niet-menselijke verkeer is slecht. Zoekmachines die je site crawlen zijn bots. Crawlers van sociale media ook. Dit zijn legitieme bots die je in je data wilt hebben.
Spambots zijn anders. Dat zijn geautomatiseerde bezoeken die verkeerscijfers opblazen, analytics manipuleren of je site scrapen. Ze vertekenen je data en verspillen je middelen.
Legitieme bots
Zoekmachines (Google, Bing, DuckDuckGo). Crawlers van sociale media (Facebook, Twitter, LinkedIn). Bots die je site in de gaten houden en beschikbaarheid controleren. Deze bots hebben een doel en horen meestal in je analytics, al sluiten sommige teams ze uit om op menselijk gedrag te focussen.
Spambots
Referral-spambots die nep-verwijzingsverkeer maken. Klikfraudebots die conversies nabootsen. Scraperbots die je content oogsten. Brute-force-bots die naar kwetsbaarheden zoeken. Deze hebben geen legitiem doel en vertekenen je data.
Verdachte legitieme bots
Sommige bots zitten in een grijs gebied. IP-adressen van datacenters die je site pingen. Affiliate-trackers die op gebruikers lijken. Advertentieverificatiebots die op advertenties klikken om te controleren of ze werken. Technisch zijn ze legitiem, maar ze kunnen je cijfers vertekenen, afhankelijk van je doelen.
Hoe bots je analytics vertekenen
Opgeblazen verkeerscijfers
Bots verhogen je aantal paginaweergaven. Je denkt dat je site 1.000 bezoekers per dag krijgt, maar 300 zijn bots. Je echte menselijke verkeer is maar 700. Je neemt beslissingen op basis van opgeblazen cijfers.
Vertekende conversiepercentages
Sommige bots activeren conversie-events. Ze klikken op knoppen. Ze versturen formulieren. Je aantal conversies ziet er beter uit dan het is. Je conversiepercentage lijkt hoger dan het echt is.
Scheve verkeersbronnen
Referral-spambots laten het lijken alsof verkeer kwam van sites die je nooit hebben doorverwezen. Je rapport over verwijzingsverkeer raakt vervuild met nepbronnen. Je bouwt misschien samenwerkingen op met bronnen die niet echt zijn.
Kapotte attributie
Bots maken sessies die je attributiemodel verstoren. Ze klikken op advertenties, vertrekken en komen terug. Je attributiemodel schrijft ze conversies toe die ze niet veroorzaakten. Echte bronnen krijgen de schuld van problemen die bots veroorzaakten.
Zo herken je botverkeer
Zoek naar verkeerspatronen die niet bij menselijk gedrag passen
Bots hebben voorspelbare patronen. Precies hetzelfde aantal paginaweergaven per sessie. Geen variatie in scrollen of tijd op de site. Verkeer uit landen die niet bij je bedrijf passen. Meerdere conversies binnen seconden. Deze patronen wijzen op niet-menselijk verkeer.
Gebruik de botfilter van je analytics-tool
De meeste analytics-tools hebben ingebouwde botdetectie. Google Analytics heeft een vinkje om bekende bots uit te sluiten. Het filtert op basis van de lijst met bekende bots van het Interactive Advertising Bureau. Zet dit eerst aan, want het vangt de duidelijke bots zonder valse treffers.
Maak eigen filters voor spampatronen
Sommige spambots komen langs de standaardfilters. Zoek patronen in je data: veel verkeer van één IP-adres, verkeer uit bekende IP-bereiken van datacenters, sessies zonder bouncetijd, conversies van bots die in je serverlogs duidelijk als bot staan.
Maak filters om deze patronen uit te sluiten. Wees voorzichtig: een te strikt filter kan echt verkeer uitsluiten. Test filters voordat je ze op je hoofdrapporten toepast.
Vergelijk met je serverlogs
Serverlogs tonen user-agentinformatie die analytics-tools soms missen. Zoek in je serverlogs naar user-agents die duidelijk bots zijn. Vergelijk het verkeer van die user-agents in je serverlogs met wat in analytics verschijnt.
Tonen je serverlogs veel meer verkeer dan analytics, dan kunnen bots het verschil zijn. Zoek de bron uit.
Zo filter je botverkeer
Zet de ingebouwde botfilter aan
Zet de eigen botfilter van je tool aan. In Google Analytics ga je naar Beheer > Weergave-instellingen > Botfiltering. Vink het vakje aan. Dit filtert bekende bots uit rapporten zonder je data te beschadigen.
Maak uitsluitingen op IP-adres
Komt botverkeer uit specifieke IP-bereiken, maak dan een filter om ze uit te sluiten. Ken eerst je eigen IP-adressen, zodat je je team of kantoor niet per ongeluk uitsluit. Voeg daarna bekende spam-IP-bereiken of IP-adressen van datacenters toe die geen echte bezoekers zijn.
Filter op user-agent
Met sommige analytics-tools kun je op user-agent filteren. Bots geven zich vaak zelf op in de user-agent. Ondersteunt je tool dat, filter dan bekende bot-user-agents eruit. Dit werkt beter voor duidelijke bots dan voor geavanceerde.
Maak segmenten voor botanalyse
Voordat je bots helemaal uitsluit, maak je een segment dat ze isoleert. Zo meet je de impact. Hoeveel verkeer is bots? Wat is je echte bouncepercentage zonder hen? Als je de omvang van het probleem kent, kies je betere filters.
De afweging: bots uitsluiten of houden
Redenen om bots uit te sluiten
Bots vertekenen je beeld van het echte gedrag van bezoekers. Echte conversiepercentages. Echte bouncepercentages. Echte verkeerspatronen. Optimaliseer je voor de ervaring van echte mensen, dan is botverkeer ruis die je beter uitsluit.
Redenen om bots in je data te houden
Bots zijn echt verkeer dat je site raakt. Ze gebruiken bandbreedte. Ze kunnen de serverbelasting beïnvloeden. Sommige teams sluiten juist menselijke bezoekers uit om te zien hoe het niet-menselijke verkeer eruitziet. Bots in je data houden vertelt je iets belangrijks over de samenstelling van het verkeer op je site.
De praktische oplossing
Maak aparte weergaven of segmenten. Eén weergave met botfiltering aan voor beslissingen. Eén weergave met al het verkeer om het volledige beeld te begrijpen. Zo zie je zowel de menselijke waarheid als de volledige verkeerswerkelijkheid.
Veelgestelde vragen
Zijn alle bots slecht voor mijn analytics?
Nee. Bots van zoekmachines zijn legitiem en nuttig. Crawlers van sociale media hebben een doel. Alleen spambots en klikfraudebots vertekenen je data. De meeste analytics-tools maken onderscheid tussen legitieme en verdachte bots. Met de websitebouwer van WEMASY zet je dit direct op je website.
Hoeveel van het verkeer is meestal botverkeer?
Dat verschilt sterk. Contentsites zien soms 10-20% botverkeer. Webshops zien soms 30-40% als ze doelwit zijn van klikfraude. Je eigen cijfer ken je alleen als je naar je data kijkt.
Kunnen bots conversies in mijn analytics activeren?
Ja. Sommige bots zijn slim genoeg om formulieren in te vullen en afrekenstappen te doorlopen. Dat komt minder vaak voor dan simpele verkeersopblazing, maar het gebeurt. Controleer conversies die niet overeenkomen met je betaalprovider.
Is botfiltering permanent of kan ik het uitzetten?
Het is permanent zodra je het aanzet, maar je kunt het altijd uitzetten. Houd er rekening mee dat historische data waarop filtering is toegepast niet verandert als je het later uitzet. Maak een aparte weergave voor en na het filteren om te vergelijken.
Hoe weet ik of een filter echt verkeer blokkeert?
Test het. Maak een filter op een tweede weergave of segment. Vergelijk de cijfers met je ongefilterde weergave. Zoek naar dalingen die geen zin hebben. Daalt het verkeer vanaf je kantoorlocatie als je op IP filtert, dan is je filter te breed.
Moet ik zoekmachinebots uitsluiten uit mijn analytics?
Meestal niet. Dat zoekmachines je site crawlen is gratis verkeer en een goed teken dat je site wordt geïndexeerd. Uitsluiten geeft een helderder beeld van menselijke bezoekers, maar je verliest inzicht in crawleractiviteit.