Zoekmachines proberen je site te crawlen en er gaat iets mis. Een pagina geeft een 500-fout. Een pagina reageert te traag. Een pagina is onbereikbaar. Dit zijn crawlfouten. Ze vertellen Google dat je site problemen heeft. Veel crawlfouten schaden je posities en voorkomen dat pagina's worden geïndexeerd. Hoe meer crawlfouten je hebt, hoe minder pagina's Google crawlt. Je moet crawlfouten snel vinden en oplossen.
Wat zijn crawlfouten?
Crawlfouten ontstaan als Google een pagina probeert te crawlen en tegen een probleem aanloopt. De pagina geeft misschien een 5xx-serverfout. Of de tijd loopt af en er komt geen antwoord. Of de pagina is geblokkeerd door robots.txt of wordt eindeloos doorgestuurd. Elk probleem waardoor Google een pagina niet kan crawlen, is een crawlfout.
Crawlfouten zijn iets anders dan indexeringsproblemen. Een pagina kan succesvol worden gecrawld en toch niet worden geïndexeerd (door noindex of andere redenen). Dat is geen crawlfout. Een crawlfout is als het crawlen zelf mislukt.
Soorten crawlfouten
500 Internal Server Error betekent dat er iets op je server kapot is. Een script is gecrasht. Een databasequery is mislukt. De server kan het verzoek niet verwerken. Los het onderliggende probleem op je server op.
503 Service Unavailable betekent dat de server tijdelijk niet beschikbaar is. Dat is normaal bij onderhoud. Zoek uit wat de tijdelijke storing veroorzaakte en los dat op.
Timeout betekent dat de pagina te lang over een antwoord deed. Google gaf het wachten op. Meestal is je server dan traag of overbelast. Optimaliseer je server of kies zwaardere hosting.
Een omleidingsfout betekent dat de pagina verkeerd doorstuurt. Misschien stuurt hij door naar zichzelf (eindeloze lus). Misschien stuurt hij door naar een kapotte pagina. Herstel de keten van omleidingen.
Niet gevonden (404) is technisch gezien geen crawlfout. De pagina geeft correct een 404. Maar als dit een belangrijke pagina is die zou moeten bestaan, zoek dan uit waarom hij een 404 geeft.
Geblokkeerd door robots.txt betekent dat robots.txt het crawlen verhindert. Dat kan opzet zijn (je blokkeerde de pagina bewust) of een ongelukje (je blokkeerde te veel). Controleer je robots.txt.
Waarom crawlfouten ertoe doen
Crawlfouten vertellen zoekmachines dat je site problemen heeft. Komen zoekmachines veel crawlfouten tegen, dan nemen ze aan dat je site kapot is en crawlen ze minder vaak. Dan worden er minder pagina's gecrawld en geïndexeerd.
Pagina's die niet kunnen worden gecrawld, kunnen niet worden geïndexeerd. Geeft een belangrijke pagina steeds 500-fouten, dan stoppen zoekmachines met crawlen en halen ze de pagina uit de index.
Crawlfouten geven een negatief signaal. Zoekmachines gebruiken de gezondheid van een site als rankingfactor. Een site met veel crawlfouten ziet er kapot en onbetrouwbaar uit. Je posities lijden daaronder.
Zo vind je crawlfouten
Gebruik de webmastertools van je zoekmachine (Google Search Console voor Google). Het rapport Dekking toont crawlfouten. Het somt de URL's op die Google probeerde te crawlen maar niet lukte. Je ziet het type fout en het aantal pagina's per fout.
Gebruik het rapport Crawlstatistieken. Dat laat zien hoeveel pagina's Google op welke dagen heeft gecrawld. Daalt het crawlvolume ineens, dan heb je waarschijnlijk crawlfouten.
Gebruik de URL-inspectietool. Vul een specifieke URL in en de tool toont of het crawlen is gelukt, wanneer er is gecrawld en welke fouten er (eventueel) zijn opgetreden.
Bekijk je serverlogs. Je hostingpartij heeft toegangslogs met elk verzoek en elk antwoord. Zoek naar 5xx-fouten of timeouts.
Veelvoorkomende oorzaken van crawlfouten en hun oplossing
Je server is overbelast. Te veel verzoeken leiden tot timeouts en 503-fouten. Kies zwaardere hosting of optimaliseer je code zodat je meer verkeer aankan.
Een script op je site is kapot. Een PHP-fout of databasefout veroorzaakt 500-fouten. Bekijk je foutlogs en herstel de kapotte code.
Robots.txt is te streng. Je hebt per ongeluk belangrijke pagina's geblokkeerd. Controleer robots.txt en haal te brede disallow-regels weg.
Ketens van omleidingen zijn kapot. Pagina A stuurt door naar B, die doorstuurt naar C, en die is kapot. Pas de keten aan zodat hij direct naar de eindbestemming wijst.
Een pagina heeft een noindex-tag. Google crawlt de pagina, maar indexeert hem niet vanwege noindex. Is dat bewust, dan kun je het negeren. Is het per ongeluk, haal dan de noindex-tag weg.
Crawlfouten oplossen
Bepaal het type fout. Verschillende fouten vragen verschillende oplossingen. Bij 500-fouten moet je de server aanpakken. Bij timeouts moet je de prestaties verbeteren. Bij omleidingsfouten moet je de omleidingen herstellen.
Los het onderliggende probleem op. Herstel bij 500-fouten de kapotte code of het kapotte script. Verbeter bij timeouts de prestaties. Herstel bij omleidingen de keten.
Controleer of het is opgelost. Gebruik de URL-inspectietool om de pagina opnieuw op te halen. Google crawlt hem opnieuw en meldt of de fout is verholpen.
Houd de crawlstatistieken in de gaten. Bekijk na het oplossen van fouten het crawlvolume in je webmastertools. Dat moet stijgen naarmate zoekmachines meer pagina's succesvol crawlen.
Veelgestelde vragen
Hoeveel crawlfouten mag ik tolereren?
Nul is het doel. Maar een paar crawlfouten zijn onvermijdelijk. Een paar crawlfouten op onbelangrijke pagina's zijn niet erg. Honderden crawlfouten wijzen op ernstige problemen. Heb je meer dan 50 crawlfouten, zoek ze dan uit en los ze op. Met de websitebouwer van WEMASY stel je dit direct op je website in.
Schaden crawlfouten direct mijn posities?
Niet direct, maar ze voorkomen dat pagina's worden geïndexeerd en schaden de signalen over de gezondheid van je site. Een pagina met een crawlfout kan niet scoren (hij staat niet in de index). Veel crawlfouten geven Google het signaal dat je site kapot is, en dat schaadt indirect al je posities.
Moet ik alle crawlfouten meteen oplossen?
Stel prioriteiten. Los eerst crawlfouten op belangrijke pagina's op (homepage, beste landingspagina's, pagina's die omzet opleveren). Minder belangrijke pagina's (gearchiveerde inhoud, hulppagina's) kunnen wachten. Pak eerst de fouten aan die de meeste schade doen.
Kunnen crawlfouten op oude inhoud mijn site schaden?
Een beetje. Heb je duizenden gearchiveerde pagina's die een 404 of 500 geven, dan veroorzaakt dat ruis en verdeelt het je crawlbudget over kapotte pagina's. Het is beter om oude inhoud te verwijderen of door te sturen naar relevante nieuwe inhoud dan om hem kapot te laten staan.
Hoe lang duurt het voordat zoekmachines opnieuw crawlen nadat ik een fout heb opgelost?
Meestal een paar dagen. Nadat je een crawlfout hebt opgelost, crawlen zoekmachines de pagina in hun volgende ronde opnieuw. Gebruik de URL-inspectietool om een nieuwe crawl aan te vragen. Dat versnelt het proces. Na het opnieuw crawlen werken de webmastertools het rapport Dekking bij.
Wat is het verschil tussen crawlfouten en indexeringsfouten?
Crawlfouten ontstaan als Google een pagina niet kan crawlen (500-fouten, timeouts). Indexeringsfouten ontstaan als een pagina wel succesvol wordt gecrawld maar niet kan worden geïndexeerd (problemen met de inhoud, noindex-tag). Crawlfouten voorkomen indexeren helemaal. Bij indexeringsfouten is de pagina wel gecrawld, maar om andere redenen niet geïndexeerd.