Bots van zoekmachines bezoeken je site voortdurend. Ze crawlen pagina's, volgen links en controleren op updates. Maar je ziet deze activiteit niet in Google Search Console. Je ziet haar alleen in je serverlogs. Serverlogs leggen elk verzoek aan je server vast, inclusief welke bot het deed, welke pagina hij crawlde, hoe lang het duurde en welke antwoordcode hij kreeg. Loganalyse laat zien hoe zoekmachines je site echt behandelen.
Wat zijn serverlogs?
Serverlogs zijn registraties van elk verzoek aan je webserver. Elke regel is één verzoek. Het log toont het IP-adres van de bezoeker, wat die opvroeg, wanneer, welke antwoordcode de server teruggaf en hoeveel gegevens er zijn verstuurd.
Elke hostingpartij bewaart serverlogs. Je kunt ze openen via het controlepaneel van je hosting of via FTP. De meeste hostingpartijen laten je logs downloaden voor analyse.
Logbestanden kunnen enorm zijn. Een drukke site maakt per dag gigabytes aan logs. Om ze te analyseren heb je tools nodig. Je kunt niet handmatig door miljoenen logregels lezen.
Crawler-user-agents begrijpen
Elke bot meldt zich aan met een user-agent-tekst. Googlebot is de crawler van Google. Andere zoekmachines hebben hun eigen bots.
Je kunt logs filteren op user-agent om alleen de verzoeken van bepaalde crawlers te zien. Zo weet je hoe vaak elke zoekmachine je site crawlt.
Pas op voor nep-user-agents. Kwaadwillenden doen zich voor als zoekmachine. Een user-agent die "Googlebot" zegt, is misschien niet echt Googlebot. Controleer het IP-adres. De echte IP-adressen van Googlebot worden door Google gepubliceerd.
Wat je uit logs kunt leren
Crawlfrequentie: hoe vaak crawlt elke zoekmachine je site? Dagelijks? Wekelijks? Meerdere keren per dag? De crawlfrequentie laat zien hoeveel waarde Google aan je site hecht.
Crawlpatronen: welke pagina's bezoekt de crawler? Crawlt hij belangrijke pagina's vaker? Verspilt hij tijd aan onbelangrijke pagina's? Zo zie je hoe je crawlbudget wordt verdeeld.
Antwoordcodes: geven pagina's 200 (gelukt) of fouten? Veel 4xx- of 5xx-fouten wijzen op problemen.
Crawlsnelheid: hoeveel tijd besteedt de bot aan crawlen? Snelle crawls laten zien dat pagina's snel laden. Trage crawls wijzen op prestatieproblemen.
Gedrag van bots: volgen bots robots.txt? Respecteren ze nofollow? Crawlen ze afbeeldingen en CSS? Zo zie je of je technische opzet klopt.
Zo analyseer je logs
Download je logs. Ga naar het controlepaneel van je hosting, zoek het onderdeel met logs en download de toegangslogs van de periode die je wilt analyseren.
Gebruik tools voor loganalyse. Programma's voor loganalyse lezen logs in en halen er inzichten uit. Ze filteren op user-agent, IP-adres, antwoordcode en meer.
Filter op crawlers. Richt je op verzoeken van bots van zoekmachines. Filter het gewone bezoekersverkeer eruit. Zo zie je het gedrag van crawlers apart.
Analyseer patronen. Kijk naar trends in crawlfrequentie. Nemen crawls toe of af? Stijgt het aantal fouten? Komen de crawlpatronen overeen met je verwachtingen?
Veelvoorkomende bevindingen uit loganalyse
Onbelangrijke pagina's worden vaker gecrawld dan belangrijke. Dat wijst op een probleem met de sitestructuur. Belangrijke pagina's moeten vaker worden gecrawld. Gebruik robots.txt of interne links om belangrijke pagina's voorrang te geven.
Veel fouten. Veel 4xx- of 5xx-antwoorden wijzen op kapotte pagina's of serverproblemen. Los de fouten op om de crawlbaarheid te verbeteren.
Lage crawlfrequentie. Crawlen zoekmachines je site weinig, dan kan dat wijzen op lage autoriteit of slechte kwaliteit van de inhoud. Verbeter je inhoud en backlinks om meer crawls aan te trekken.
Bots die geblokkeerde pagina's crawlen. Blokkeert robots.txt pagina's, maar vragen crawlers ze toch op, dan negeren de bots je blokkaderegels. Dat is meestal onschuldig.
Beperkingen van loganalyse
Loganalyse toont verzoeken aan je server, maar niet alle activiteit van crawlers. Sommige zoekmachines gebruiken caching. Ze crawlen niet elke keer elke URL. Crawls uit de cache verschijnen niet in logs.
Loganalyse toont geen indexeringsbeslissingen. Dat een pagina is gecrawld, betekent niet dat hij is geïndexeerd. Zoekmachines crawlen en verwerpen voortdurend pagina's.
Grote logbestanden zijn lastig te beheren. Een drukke site maakt enorme logs. Gigabytes aan gegevens analyseren vraagt krachtige tools en expertise.
Loggegevens zijn technisch. Je moet HTTP-antwoorden, user-agent-teksten en servergedrag begrijpen. Het is niet geschikt voor beginners.
Veelgestelde vragen
Waar vind ik mijn serverlogs?
Je hostingpartij heeft serverlogs. Log in op het controlepaneel van je hosting en zoek een onderdeel met de naam Logs of Statistieken. De meeste partijen laten je ruwe logs downloaden. Sommige bieden een logviewer. Kun je ze niet vinden, neem dan contact op met je hostingpartij. Met de websitebouwer van WEMASY stel je dit direct op je website in.
Hoe ver terug gaan serverlogs?
Dat verschilt per host. Sommige partijen bewaren logs 30 dagen, andere 90 dagen. Zakelijke hosting bewaart logs soms jaren. Lees de documentatie van je hosting. Heb je historische logs nodig, download en archiveer ze dan regelmatig.
Moet ik logs zelf analyseren of iemand inhuren?
Voor de meeste sites is Google Search Console genoeg. Loganalyse is geavanceerd en technisch. Gebruik logs alleen als Search Console je niet de antwoorden geeft die je nodig hebt. Doe je loganalyse, gebruik dan een speciale tool voor logbestanden. Ontbreekt de expertise, huur dan een SEO-adviseur in.
Kan ik logs gebruiken om slechte bots op te sporen?
Ja. Logs tonen alle verzoeken, ook die van slechte bots. Zoek naar ongebruikelijke user-agents, veel verzoeken in korte tijd of crawlpatronen die nergens op slaan. Slechte bots crawlen je site vaak veel sneller dan echte crawlers. Je kunt ze blokkeren met robots.txt of je firewall.
Helpt loganalyse om mijn posities te verbeteren?
Indirect. Loganalyse helpt je crawlproblemen, problemen met de sitestructuur en prestatieknelpunten te begrijpen. Als je die oplost, wordt je site beter voor crawlers en bezoekers, en dat kan je posities verbeteren. Maar logs zijn een diagnosemiddel, zelf geen rankingfactor.
Wat is het verschil tussen logs en gegevens uit Search Console?
Logs tonen elk verzoek aan je server. Search Console toont wat Google met die verzoeken deed (geïndexeerd, afgewezen, enzovoort). Logs zijn ruwe gegevens. Search Console is de uitleg van Google over die gegevens. Gebruik ze samen voor een compleet beeld.