Je robots.txt is een tekstbestand in de hoofdmap van je website. Het vertelt crawlers welke pagina's ze mogen bezoeken en welke verboden zijn. Voor klassieke zoekmachines is robots.txt optioneel. Voor AI-crawlers is het het belangrijkste middel om te bepalen of je content wordt geïndexeerd of geblokkeerd.
Dat verschil is belangrijk. Google respecteert robots.txt, maar crawlt ook pagina's die je blokkeert als andere sites ernaar linken. AI-crawlers houden zich strikter aan robots.txt. Blokkeer je GPTBot in je robots.txt, dan citeert ChatGPT je content niet. Laat je hem toe, dan kan je content worden geciteerd door AI. In dit hoofdstuk lees je hoe elke grote AI-crawler heet, hoe je specifieke bots blokkeert en welke strategie bij jouw merk past.
Hoe robots.txt werkt voor AI-crawlers
Als een crawler je site bezoekt, controleert hij als eerste of er een robots.txt is. Hij leest het bestand regel voor regel op zoek naar regels die voor hem gelden. Staat er in je robots.txt "disallow: /", dan mag geen enkele crawler een pagina openen. Staat er "disallow: /admin/", dan mogen crawlers alles bezoeken behalve de adminmap.
AI-crawlers volgen deze regels consequenter dan Googlebot. Blokkeer je ClaudeBot in robots.txt, dan indexeert Claude je content niet. Punt. Googlebot crawlt geblokkeerde pagina's misschien toch als de content vanaf andere sites wordt gelinkt, maar AI-crawlers stoppen bij de regel in robots.txt.
De opmaak is simpel. Je schrijft regels waarin staat welke user agents (namen van crawlers) onder welke regels vallen, en daarna wat die crawlers wel en niet mogen openen. Het bestand is platte tekst. Geen opmaak, geen speciale tekens. Alleen regels.
De grote AI-crawlers en hun user-agentnamen
Elke crawler heeft een user-agentnaam. Als hij je site bezoekt, meldt hij zich met die naam. Die naam gebruik je in je robots.txt om regels voor die ene crawler te maken.
Dit zijn de grote AI-crawlers die je moet kennen:
GPTBot (OpenAI)
GPTBot is de crawler van OpenAI. Hij indexeert content voor ChatGPT. Zet een gebruiker webzoeken aan in ChatGPT, dan haalt het systeem informatie uit pagina's die GPTBot heeft geïndexeerd. GPTBot crawlt fel, maar houdt zich aan de regels in robots.txt.
Wil je GPTBot toelaten, dan hoef je niets te doen. Hij crawlt standaard. Wil je hem blokkeren, voeg dan deze regels toe aan je robots.txt:
User-agent: GPTBot
Disallow: /
Die regel zegt: GPTBot, je mag geen enkele pagina van deze site openen. Wil je alleen bepaalde delen blokkeren, dan kun je specifieker zijn. Blokkeer de map /admin/ en laat de rest toe:
User-agent: GPTBot
Disallow: /admin/
ClaudeBot (Anthropic)
ClaudeBot is de crawler van Anthropic. Hij indexeert content voor webzoeken in Claude. ClaudeBot is feller dan GPTBot. Hij doet meer verzoeken en crawlt vaker. Laat je ClaudeBot toe, houd dan je serverbronnen in de gaten.
ClaudeBot meldt zich met deze user-agentnaam. Gebruik die in je robots.txt net zoals bij GPTBot:
User-agent: ClaudeBot
Disallow: /
PerplexityBot (Perplexity)
PerplexityBot crawlt het web voor Perplexity. Het is een van de crawlers die het vaakst langskomen. Hij werkt content meerdere keren per dag bij, omdat Perplexity veel waarde hecht aan versheid. Blokkeer je PerplexityBot, dan verschijnt je content niet in antwoorden van Perplexity.
User-agent: PerplexityBot
Disallow: /
Googlebot-Extended (Google AI)
Google heeft twee crawlers. Googlebot crawlt voor klassiek zoeken. Googlebot-Extended crawlt voor de AI-systemen van Google, zoals AI Overviews en Gemini. Je kunt Googlebot-Extended blokkeren en Googlebot toelaten.
User-agent: Googlebot-Extended
Disallow: /
Andere crawlers
Yandex (YandexBot), Microsoft Bing (Bingbot), Naver (Naver) en andere zoekmachines hebben ook crawlers. Het principe is hetzelfde. Zoek de user-agentnaam op en maak een regel.
De strategie: toelaten of blokkeren?
De meeste merken doen er goed aan AI-crawlers toegang tot hun content te geven. Citaten van AI brengen verkeer van hoge kwaliteit. Gebruikers die je content via ChatGPT of Perplexity vinden, hebben al besloten dat je antwoord waardevol is. Ze klikken door en converteren vaker dan bezoekers uit klassieke zoekresultaten.
Er zijn uitzonderingen. Heb je bedrijfseigen informatie, bedrijfsgeheimen of content die exclusief moet blijven, dan is blokkeren van AI-crawlers logisch. Heb je content achter een betaalmuur, dan kun je bepaalde crawlers blokkeren om gratis toegang via AI-samenvattingen te voorkomen. Heb je content die gênant of verouderd is, dan kun je AI-crawlers blokkeren totdat je die hebt bijgewerkt.
Maar voor de meeste content is de afweging simpel. Zichtbaarheid in AI levert meer kansen op dan risico's. Laat de crawlers toe. Word geciteerd. Haal verkeer binnen.
Specifieke crawlers blokkeren en andere toelaten
Je hoeft niet alles of niets te kiezen. Je kunt sommige AI-crawlers toelaten en andere blokkeren.
Laat Perplexity en GPTBot toe, maar blokkeer ClaudeBot omdat de crawlfrequentie van ClaudeBot je server belast:
User-agent: ClaudeBot
Disallow: /
User-agent: GPTBot
Disallow:
User-agent: PerplexityBot
Disallow:
Een lege "Disallow:" betekent geen beperking. Die crawler mag alles openen.
Je kunt AI-crawlers ook uit bepaalde delen weren. Laat GPTBot overal toe behalve in je beheerpaneel:
User-agent: GPTBot
Disallow: /admin/
Laat hem je blog crawlen, maar niet je producten:
User-agent: GPTBot
Disallow: /products/
De wildcardregel en het standaardgedrag
Je kunt regels maken voor specifieke crawlers en een standaardregel voor alle anderen. Het sterretje (*) is de wildcard voor alle crawlers die niet apart worden genoemd.
Deze regel blokkeert alle crawlers voor /private/ en laat al het andere toe:
User-agent: *
Disallow: /private/
Deze regel blokkeert alle crawlers voor alles:
User-agent: *
Disallow: /
De crawl-delay-regel
Je kunt crawlers vragen om langzamer te gaan. Met de regel Crawl-delay laat je een crawler een aantal seconden wachten tussen verzoeken. Heeft je server moeite met het felle crawlen van ClaudeBot, dan kun je hem vragen te vertragen:
User-agent: ClaudeBot
Crawl-delay: 5
Dat betekent dat ClaudeBot 5 seconden moet wachten tussen elk verzoek. Het crawlen gaat trager, maar de serverbelasting daalt.
Hoe robots.txt samenhangt met je sitemap
Je robots.txt kan naar je sitemap verwijzen. Voeg deze regel onderaan je robots.txt toe:
Sitemap: https://jouwsite.nl/sitemap.xml
Crawlers lezen je robots.txt en zien de verwijzing naar de sitemap. Ze weten dan waar de kaart van je content staat. Dat versnelt de ontdekking. Het verandert niet wat crawlers mogen openen. Het vertelt ze alleen waar ze moeten kijken.
Je robots.txt testen
Je kunt je robots.txt testen voordat je hem live zet. Google Search Console heeft een robots.txt-tester. Je voert een URL en een user-agentnaam in, en de tester laat zien of die crawler die pagina volgens jouw regels mag openen.
De meeste websitebouwers en contentplatforms, WEMASY inbegrepen, maken automatisch een robots.txt aan. Kijk in je site-instellingen. Kun je het bestand bewerken, dan kun je eigen regels toevoegen. Kan dat niet, neem dan contact op met je hostingpartij.
Veelgestelde vragen
Als ik alle AI-crawlers blokkeer, scoort mijn site dan nog in Google?
Ja. Het blokkeren van AI-crawlers (GPTBot, ClaudeBot enzovoort) heeft geen invloed op je posities in Google. Google gebruikt Googlebot voor klassiek zoeken en Googlebot-Extended voor AI-functies. Wil je alleen AI-crawlers blokkeren en Google toegang geven, blokkeer dan specifiek de namen van de AI-crawlers en laat Googlebot en Googlebot-Extended ongemoeid. Met de websitebouwer van WEMASY stel je dit direct op je website in.
Kan ik AI-trainingscrawlers blokkeren en AI-zoekcrawlers toelaten?
De grens tussen trainings- en zoekcrawlers is vaag. De meeste grote AI-bedrijven gebruiken nu dezelfde crawlers voor beide doelen. Blokkeer je een AI-crawler helemaal, dan blokkeer je zowel de toegang voor training als voor zoeken. Met robots.txt kun je niet alleen training of alleen zoeken blokkeren. Je blokkeert de crawler helemaal of je laat hem toe.
Wat gebeurt er als ik geen robots.txt heb?
Heb je geen robots.txt, dan gaan crawlers ervan uit dat ze alles mogen openen. Alle crawlers (Google, Bing, GPTBot, ClaudeBot, allemaal) indexeren je hele site. Voor de meeste sites is dat precies wat je wilt. Wil je specifieke crawlers of delen blokkeren, dan heb je een robots.txt nodig.
Kunnen AI-crawlers mijn robots.txt omzeilen?
In theorie wel, maar ze doen het niet. AI-crawlers houden zich strikter aan robots.txt dan Googlebot. Zeg je tegen een AI-crawler dat hij wegblijft, dan blijft hij weg. De ontwikkelaars weten dat het negeren van robots.txt hun relatie met uitgevers schaadt. Ze volgen de regels.
Hoe vaak moet ik mijn robots.txt bijwerken?
Je hoeft hem alleen bij te werken als je blokkeerregels veranderen. Besluit je een nieuwe crawler te blokkeren of een eerder geblokkeerd deel open te zetten, dan werk je hem bij. Anders kun je hem na het instellen met rust laten. Crawlers controleren hem bij elk bezoek, dus wijzigingen werken meteen.
Moet ik AI-crawlers blokkeren voor mijn concurrentieanalyse of privéonderzoek?
Ja. Heb je pagina's met bedrijfseigen onderzoek, concurrentieanalyses of content die niet openbaar moet zijn, blokkeer dan alle crawlers voor die delen. Voeg een disallow-regel toe voor die map of die pagina's. Crawlers indexeren ze dan niet en AI-systemen kunnen ze niet citeren.