Of ChatGPT je content kan vinden en citeren, regel je met drie aparte mechanismen: robots.txt, metatags en HTTP-headers. De meeste mensen kennen er één. Als je alle drie begrijpt, kun je een bewuste keuze maken voor je zichtbaarheidsstrategie.
Het gaat niet alleen om blokkeren of toelaten. Het gaat om bewust kiezen. Verschillende richtlijnen geven verschillende uitkomsten. De verkeerde combinatie kan averechts werken.
De drie niveaus van controle
Je hebt drie manieren om de crawlers van ChatGPT te vertellen wat ze met je content mogen doen.
Niveau 1: robots.txt
Dit bestand in de root van je domein vertelt crawlers waar ze wel en niet bij mogen op je hele site of in bepaalde onderdelen. Het regelt het vinden en crawlen van pagina's.
Niveau 2: meta robots-tags
Deze HTML-metatags op losse pagina's vertellen crawlers wat ze moeten doen nadat ze de pagina hebben gevonden en gelezen. Ze regelen het indexeren en het gebruik van die specifieke pagina.
Niveau 3: X-Robots-Tag HTTP-headers
Deze header in de HTTP-respons van je server doet hetzelfde als meta robots-tags, maar kun je op de hele site of op bepaalde contenttypes toepassen. Handig voor content die geen HTML is, zoals pdf's.
De meeste mensen richten zich op robots.txt en vergeten de andere twee. Alle drie werken samen.
Niveau 1: robots.txt en OAI-SearchBot begrijpen
Je robots.txt-bestand communiceert met OAI-SearchBot (de zoekcrawler van ChatGPT). ChatGPT houdt zich aan standaard robots.txt-richtlijnen.
OAI-SearchBot toegang geven tot je content
User-agent: OAI-SearchBot
Allow: /
Dit is de standaard. OAI-SearchBot crawlt je hele site en je content wordt zichtbaar in ChatGPT search.
OAI-SearchBot volledig blokkeren
User-agent: OAI-SearchBot
Disallow: /
Hierdoor kan ChatGPT search je content niet vinden. Je pagina's verschijnen niet in antwoorden van ChatGPT.
OAI-SearchBot toelaten maar de crawlsnelheid regelen
User-agent: OAI-SearchBot
Allow: /
Crawl-delay: 1
De richtlijn Crawl-delay zegt tegen de bot dat hij 1 seconde moet wachten tussen verzoeken. Dat helpt de serverbelasting te beperken als de crawler van ChatGPT je server te vaak aanroept.
Specifieke onderdelen blokkeren
User-agent: OAI-SearchBot
Disallow: /admin/
Disallow: /private/
Allow: /
Dit blokkeert het crawlen van je mappen /admin/ en /private/ en geeft toegang tot al het andere.
Het uitgangspunt: robots.txt regelt het vinden en crawlen. Blokkeer je hier een crawler, dan komt hij niet bij de pagina en kan hij dus ook geen metatags op die pagina lezen.
Niveau 2: meta robots-tags, controle na het vinden
Nadat OAI-SearchBot je pagina heeft gecrawld (dus niet is geblokkeerd in robots.txt), vertellen meta robots-tags wat hij met de content moet doen.
De structuur van de meta robots-tag
<meta name="robots" content="directive1, directive2">
De belangrijkste richtlijnen voor AI-crawlers
noindex: indexeer deze pagina niet en neem hem niet op in samenvattingen. De crawler ziet de pagina wel, maar gebruikt hem niet.
nofollow: volg geen links vanaf deze pagina. De crawler ziet de pagina wel, maar crawlt de links erin niet.
noai: gebruik deze content niet om AI-modellen te trainen. De pagina kan in zoekresultaten verschijnen, maar OpenAI kan hem niet gebruiken om taalmodellen te trainen.
noimageai: gebruik de afbeeldingen op deze pagina niet om beeldgeneratiemodellen te trainen.
Voorbeeld
<meta name="robots" content="noindex">
Dit vertelt alle crawlers (Google, Bing, ChatGPT en andere) dat ze deze pagina niet mogen indexeren. ChatGPT citeert hem niet, Google toont hem niet en Bing neemt hem niet op.
Specifiek voor OAI-SearchBot
<meta name="robots" content="noai">
Dit vertelt specifiek OAI-SearchBot dat hij de content niet voor training mag gebruiken. De pagina kan nog steeds worden geciteerd in de zoekresultaten van ChatGPT, maar OpenAI kan hem niet gebruiken voor modeltraining.
Belangrijke regel: combineer robots.txt en noindex niet
Dit is de belangrijkste technische regel. Doe dit nooit:
User-agent: OAI-SearchBot
Disallow: /article/
En zet dit er niet óók op de artikelpagina:
<meta name="robots" content="noindex">
Waarom: blokkeer je OAI-SearchBot via robots.txt voor /article/, dan haalt de crawler die pagina nooit op. Hij leest de metatag nooit. De richtlijn noindex heeft dan geen effect, omdat de crawler hem nooit ziet. Bovendien kunnen sommige crawlers een pagina toch indexeren als andere sites ernaar linken, omdat ze de pagina via die links hebben ontdekt, ook al zei je robots.txt nee.
De regel: gebruik robots.txt OF metatags, niet allebei voor dezelfde richtlijn.
Beste aanpak: gebruik robots.txt om crawlen voor de hele site te regelen (hele onderdelen toelaten of blokkeren). Gebruik metatags voor controle op paginaniveau (losse pagina's met bijzondere regels).
Niveau 3: X-Robots-Tag HTTP-headers
Wil je het gedrag van crawlers regelen voor content die geen HTML is (pdf's, afbeeldingen en meer), of regels toepassen op meerdere pagina's zonder elke pagina aan te passen, gebruik dan de X-Robots-Tag HTTP-header.
Voorbeeld:
X-Robots-Tag: noindex, nofollow
Dit wordt op serverniveau ingesteld en vertelt alle crawlers dat ze geen enkele pagina met deze header mogen indexeren of de links erin mogen volgen.
Je kunt dit ook gericht toepassen:
X-Robots-Tag: OAI-SearchBot: noai
Dit vertelt alleen OAI-SearchBot dat hij je content niet voor training mag gebruiken, terwijl ze wel in zoekresultaten mag verschijnen.
Strategische keuzes: wat wil je eigenlijk
Je keuze hangt af van je doel.
Doel 1: zoveel mogelijk citaties in ChatGPT
Laat robots.txt toe en gebruik geen noindex-metatags. Laat OAI-SearchBot je vinden en citeren.
User-agent: OAI-SearchBot
Allow: /
Geen beperkende metatags.
Doel 2: verschijnen in ChatGPT search maar modeltraining voorkomen
Laat robots.txt toe en gebruik de noai-metatag.
User-agent: OAI-SearchBot
Allow: /
<meta name="robots" content="noai">
Doel 3: verborgen blijven voor ChatGPT maar vindbaar voor andere zoekmachines
Blokkeer OAI-SearchBot en laat de rest toe.
User-agent: OAI-SearchBot
Disallow: /
User-agent: Googlebot
Allow: /
User-agent: Bingbot
Allow: /
Doel 4: verborgen blijven voor alle AI-crawlers
Blokkeer meerdere bots.
User-agent: OAI-SearchBot
Disallow: /
User-agent: GPTBot
Disallow: /
User-agent: Googlebot
Allow: /
Het naleefprobleem: niet alle AI-crawlers houden zich aan deze regels
De ongemakkelijke waarheid: AI-crawlers houden zich in verschillende mate aan de regels.
Uit tests blijkt dat ChatGPT robots.txt en een deel van de metatags respecteert. Perplexity respecteert beide consequent. Andere AI-systemen verschillen sterk. Sommige oudere AI-scrapers negeren robots.txt helemaal.
Je kunt de crawlers van OpenAI goed aansturen. Je kunt niet elk AI-systeem volledig aansturen dat je content zou kunnen scrapen.
Zo helpt WEMASY je om crawlertoegang te beheren
De websitebouwer van WEMASY heeft een robots.txt-editor waarmee je de rechten van OAI-SearchBot instelt zonder ruwe bestanden te bewerken. Via het SEO-instellingenpaneel voeg je meta robots-tags toe aan losse pagina's. De bouwer zet bewezen goede instellingen alvast klaar: OAI-SearchBot mag door voor zichtbaarheid in zoekresultaten, en je kunt noai toevoegen als je geen modeltraining wilt. Bekijk de crawllogs om te zien welke crawlers je site bezoeken en pas de rechten daarop aan. Zie de tools van WEMASY voor crawlerbeheer.
Veelgestelde vragen
Als ik OAI-SearchBot blokkeer in robots.txt, kan mijn content dan nog via links in ChatGPT verschijnen?
Dat is onwaarschijnlijk. OAI-SearchBot is de belangrijkste zoekcrawler van ChatGPT. Is hij geblokkeerd, dan ben je niet aanwezig in ChatGPT search. Linkt een ander systeem naar je content, dan kan een andere crawler hem wel ophalen. Dat is onvoorspelbaar. Met de websitebouwer van WEMASY stel je dit direct op je website in.
Wat doet de noai-metatag eigenlijk?
Hij vertelt OpenAI dat het je content niet mag gebruiken om zijn taalmodellen te trainen. Je content kan nog steeds met bronvermelding in de zoekresultaten van ChatGPT verschijnen. Zonder deze tag kan OpenAI je content gebruiken om ChatGPT en andere modellen te trainen.
Moet ik noindex gebruiken als ik niet in ChatGPT wil verschijnen?
Ja, maar weet wat het doet: noindex vertelt alle crawlers (Google, Bing, ChatGPT en andere) dat ze de pagina niet mogen indexeren. Gebruik het als je uit alle zoekresultaten wilt verdwijnen. Wil je alleen voor ChatGPT verborgen blijven en wel zichtbaar zijn in Google, gebruik dan geen noindex. Blokkeer in plaats daarvan OAI-SearchBot in robots.txt.
Hoe lang duurt het voordat wijzigingen in robots.txt of metatags van kracht worden?
Wijzigingen in robots.txt worden meestal binnen 24 uur opgepakt. Wijzigingen in metatags worden opgepakt zodra de crawler de pagina opnieuw bezoekt. Wil je direct testen, dan kun je dat doen met de testtool voor crawlers van OpenAI of via Bing Webmaster Tools.
Kan ik alle AI-crawlers blokkeren en Google toelaten?
Ja. Zet in je robots.txt GPTBot, OAI-SearchBot, ChatGPT-User en andere AI-bots op Disallow en laat Googlebot en Bingbot toe. Dit houdt AI-systemen die robots.txt negeren niet tegen om bij je content te komen.
Wat als X-Robots-Tag en robots.txt elkaar tegenspreken voor mijn crawler?
robots.txt wordt als eerste beoordeeld. Blokkeert robots.txt een crawler, dan haalt hij de pagina niet op en ziet hij X-Robots-Tag dus nooit. Staat robots.txt de crawler toe, dan gelden de richtlijnen van X-Robots-Tag. Zorg dat ze op elkaar aansluiten.