AI-crawlers vinden je content op twee manieren: ze stuiten er toevallig op via interne links, of jij geeft ze een routekaart. Een sitemap is die routekaart. Zonder sitemap besteden AI-bots hun crawlbudget aan dwalen door de structuur van je site om te snappen wat belangrijk is. Met een sitemap gaan ze rechtstreeks naar je belangrijkste pagina's. Voeg IndexNow toe en je haalt het wachten helemaal weg. Je nieuwe content verschijnt in uren in AI-zoekresultaten in plaats van in dagen.
Wat is een XML-sitemap en waarom hebben AI-crawlers hem nodig?
Een XML-sitemap is een gestructureerde lijst van elke pagina op je website die crawlers moeten vinden. Hij bevat de URL van de pagina, wanneer die voor het laatst is bijgewerkt en hoe belangrijk de pagina is vergeleken met andere pagina's op je site. Traditionele zoekmachines zoals Google gebruiken sitemaps om het indexeren te versnellen. AI-crawlers zijn er nog meer van afhankelijk.
Hoe gebruiken AI-crawlers je sitemap anders dan Google?
De crawler van Google leert de structuur van je site in de loop van de tijd kennen. AI-crawlers hebben die luxe niet. Veel AI-platforms werken met een beperkt crawlbudget en schakelen voortdurend tussen domeinen. Ze leunen zwaar op je sitemap om te begrijpen welke pagina's er zijn en welke voorrang verdienen.
Bezoekt GPTBot je site, dan raadpleegt hij in 76% van de gevallen je sitemap om te bepalen wat hij eerst crawlt. De crawler van Perplexity gebruikt je sitemap om recente content te herkennen: hij haalt pagina's met een recente "lastmod"-datum veel vaker op dan oudere pagina's. Claude gebruikt de structuur van je sitemap om een semantische kaart van de onderwerpen op je site te maken.
Waarom telt de structuur van je sitemap voor AI-zichtbaarheid?
Een slecht opgebouwde sitemap geeft tegenstrijdige signalen. Heeft elke pagina dezelfde prioriteit, dan gaan AI-crawlers ervan uit dat niets bijzonder belangrijk is. Staan er verouderde pagina's of noindex-URL's in je sitemap, dan verspillen crawlers tijd aan content die nooit in antwoorden verschijnt. Een goed opgebouwde sitemap met een juiste hiërarchie van prioriteit vergroot hoe vaak je content wordt aangehaald met wel 41%.
Hoe bouw je je XML-sitemap op voor ontdekking door AI?
De structuur van je sitemap telt zwaarder voor AI dan voor traditionele SEO. De volgorde waarin je pagina's opsomt, de prioriteit die je toekent en wat je opneemt, bepalen alle hoe snel AI-systemen je beste content vinden en aanhalen.
Wat hoort er echt in je sitemap?
Neem alleen pagina's op die je in AI-zoekresultaten wilt laten verschijnen. Dat zijn: je gepubliceerde content, bijgewerkte artikelen, pillar-pagina's, vergelijkende berichten en elke pagina die je door ChatGPT of Perplexity aangehaald wilt zien. Laat pagina's met noindex-tags weg. AI-crawlers moeten die toch overslaan en ze opnemen verspilt alleen crawlbudget.
Haal verouderde pagina's weg, oude blogberichten die je niet bijhoudt, privépagina's achter inloggen en pdf-bestanden, tenzij je die specifiek wilt laten crawlen. Een schone sitemap laat AI-systemen zien dat elke vermelde URL hun aandacht verdient.
Hoe bouw je de prioriteit in je sitemap op?
Prioriteit vertelt AI-crawlers welke pagina's het belangrijkst zijn. Stel hem in op een schaal van 0,0 tot 1,0. De meest effectieve structuren van prioriteit volgen dit patroon:
Hoogste prioriteit (0,9-1,0): je pillar-pagina's
Pillar-pagina's en je belangrijkste content krijgen prioriteit 1,0. Dit zijn de pagina's die je het liefst door AI-systemen wilt zien aanhalen. Heb je 100 pagina's op je site, dan horen er 10-15 op prioriteit 1,0 te staan: je hoekstenen, je best presterende pagina's, je gezaghebbende gidsen.
Middelste prioriteit (0,7-0,8): ondersteunende content
Blogberichten, how-to-gidsen en ondersteunende artikelen krijgen prioriteit 0,7-0,8. Ze zijn belangrijk, maar komen na je pillar-content. Deze laag is vaak 20-30% van je sitemap.
Lage prioriteit (0,4-0,6): tijdloze content en naslagcontent
Woordenlijstitems, FAQ-pagina's, aanvullende artikelen en oudere tijdloze content krijgen prioriteit 0,4-0,6. Ze zijn waardevol, maar hebben niet meteen aandacht van crawlers nodig. Al het andere komt hier: het vormt de overige 50-60% van je sitemap.
Waarom vergroot deze hiërarchie het aantal vermeldingen?
Als AI-crawlers hun crawlbudget verdelen, bezoeken ze pagina's met hoge prioriteit eerst en het vaakst. Content met prioriteit 1,0 wordt eerder gecrawld, blijft verser in de index van het AI-systeem en verschijnt vaker in antwoorden. Sites met een juiste hiërarchie van prioriteit zien 41% meer vermeldingen van pagina's met hoge prioriteit dan sites met een vlakke prioriteit (waar alles 0,5 is).
Hoe stel je lastmod-data goed in?
De lastmod-datum vertelt AI-crawlers wanneer je een pagina voor het laatst hebt bijgewerkt. Vooral Perplexity crawlt pagina's met recente lastmod-data tot 3,2 keer zo vaak als oudere pagina's. Nauwkeurigheid telt hier: onjuiste data brengen crawlers in de war.
Stel lastmod alleen in als je de inhoud van de pagina echt hebt bijgewerkt. Pas hem niet met de hand aan. Gebruik geautomatiseerde systemen die lastmod instellen op basis van wanneer je CMS het bestand voor het laatst opsloeg. Werk je een pagina bij en ververst het systeem lastmod niet automatisch, dan weten je crawlers niet dat ze vers is.
In welk formaat moet je sitemap staan?
Gebruik het XML-formaat: dat is de standaard die alle moderne crawlers herkennen. HTML-sitemaps werken voor menselijke bezoekers, maar crawlers slaan ze over. Je hebt een echt XML-sitemapbestand nodig.
Wat als je meer dan 50.000 URL's hebt?
XML-sitemaps hebben een limiet: 50.000 URL's en 50 MB per bestand. Overschrijdt je site dit, maak dan een sitemap-index. Een sitemap-index is een hoofdbestand dat meerdere sitemapbestanden opsomt.
Sites met duizenden URL's hebben baat bij gesegmenteerde sitemaps: een voor blogberichten, een voor productpagina's, een voor documentatie en een voor dienstenpagina's. Segmentatie levert 67% hogere voltooiing van het crawlen op dan één enorme sitemap. AI-crawlers voltooien minder pagina's als ze één bestand van 50 MB proberen te verwerken.
Heb je meerdere sitemaps nodig als je minder dan 50.000 URL's hebt?
Nee. Eén sitemap is prima. Maar ook bij een kleinere site helpt segmentatie. Maak aparte sitemaps voor verschillende soorten content als je meer dan 10.000 pagina's bijhoudt. Dat helpt AI-systemen de structuur van je site te begrijpen.
Waar moet je sitemap staan en hoe dien je hem in?
Je sitemap moet in de root van je domein staan: `www.example.com/sitemap.xml`. Alle crawlers weten dat ze daar eerst kijken. Je moet er ook naar verwijzen in je robots.txt-bestand, zodat crawlers hem betrouwbaar vinden.
Wat moet er in robots.txt staan voor sitemaps?
Voeg één regel toe aan je robots.txt-bestand:
Sitemap: https://www.example.com/sitemap.xml
Dit vertelt elke crawler (Google, de crawler van ChatGPT, Perplexity, Claude) precies waar je sitemap staat. Het is de snelste manier waarop crawlers je sitemap ontdekken in plaats van ernaar te zoeken.
Moet je je sitemap bij elk AI-platform apart indienen?
Je dient je sitemap niet bij afzonderlijke AI-platforms in. Maar ze zoeken er allemaal op dezelfde twee plekken naar: je robots.txt-bestand en de standaardlocatie /sitemap.xml. Zolang je ernaar verwijst in robots.txt, vindt elke crawler hem automatisch.
Wat is IndexNow en waarom is het belangrijk voor AI?
IndexNow is een protocol waarmee je zoekmachines en AI-platforms laat weten dat je een pagina hebt gepubliceerd of bijgewerkt, op het moment dat het gebeurt. In plaats van dagen te wachten tot crawlers langskomen en nieuwe content ontdekken, stuur je een directe melding. Je pagina's verschijnen binnen uren in AI-zoekresultaten in plaats van na weken.
Hoe werkt IndexNow?
Je maakt een API-sleutel, zet die in een tekstbestand in de root van je domein en stelt je CMS zo in dat het een eenvoudig HTTP-verzoek naar IndexNow stuurt zodra een pagina wordt gepubliceerd. Het verzoek bevat de URL van de pagina en je API-sleutel. Deelnemende zoekmachines ontvangen de melding direct.
Dat is het hele proces. Je dient geen bulkbestand in. Je stuurt een ping in realtime die zegt: "Ik heb net deze URL gepubliceerd, kijk er nu naar."
Welke zoekmachines ondersteunen IndexNow?
Bing, Yandex en enkele kleinere regionale zoekmachines ondersteunen IndexNow officieel. Google ondersteunt IndexNow niet: Google geeft de voorkeur aan traditionele sitemaps en heeft andere indexeersystemen.
Bij AI-platforms groeit het gebruik van IndexNow. Bing voedt Copilot van Microsoft, dus IndexNow telt voor zichtbaarheid in Copilot. Andere platforms leunen steeds meer op IndexNow als signaal voor versheid en beschikbaarheid van content in realtime.
Waarom IndexNow gebruiken als de meeste AI-platforms het niet officieel ondersteunen?
IndexNow zet een patroon van publiceren in realtime neer dat zoekmachines herkennen. Zien Bing, Yandex en andere dat je consequent publiceert via IndexNow, dan geven ze je content voorrang. Dit signaal beïnvloedt de crawlfrequentie op platforms. Bovendien voegen nieuwe platforms regelmatig ondersteuning voor IndexNow toe: voorlopen op het gebruik telt.
Hoe stel je IndexNow in?
Het invoeren kost 15 minuten als je CMS het ingebouwd ondersteunt, of een paar uur als je eigen code moet toevoegen.
Stap 1: maak je API-sleutel voor IndexNow
Ga naar IndexNow.org, vul je domein in en maak een unieke API-sleutel. Houd deze sleutel privé: hij bewijst dat het domein van jou is en dat je URL's mag indienen.
Stap 2: maak het sleutelbestand en verifieer je eigendom
Maak een tekstbestand met je API-sleutel als naam: `{API-key}.txt`. Upload het naar de root van je domein, zodat het op `https://www.example.com/{API-key}.txt` staat. Dat bewijst aan IndexNow dat het domein van jou is.
Stap 3: stel automatisch indienen in je CMS in
Stel je CMS zo in dat het elke keer dat een pagina wordt gepubliceerd of bijgewerkt een HTTP POST-verzoek naar IndexNow stuurt. Het verzoek moet de URL van de pagina en je API-sleutel bevatten. Veel platforms, waaronder de websitebouwer van WEMASY, hebben plugins of eigen integraties die dit automatisch regelen.
Stap 4: test met handmatig indienen
Publiceer een testpagina en dien de URL handmatig in via het platform van IndexNow. Controleer of IndexNow het indienen accepteert en een succesvol antwoord geeft. Zo weet je dat je setup werkt.
Hoe vaak moet je je sitemap bijwerken?
Werk je sitemap bij elke keer dat je nieuwe content publiceert of bestaande content flink bijwerkt. Geautomatiseerde systemen regelen dit: je CMS moet de sitemap automatisch opnieuw maken zodra een pagina verandert.
Wat is het verschil tussen updates van je sitemap en meldingen via IndexNow?
Je sitemap is statisch: een momentopname van je site zoals die nu is, die crawlers af en toe controleren. IndexNow is dynamisch: een directe melding dat er iets is veranderd. Gebruik ze samen: IndexNow waarschuwt crawlers om meteen te kijken en je sitemap geeft de context die ze nodig hebben om de volledige structuur van je site te begrijpen.
Moet je je sitemap met de hand bijwerken?
Nee. Handmatig bijwerken zorgt voor fouten. Laat je CMS de sitemap automatisch opnieuw maken. Gebruik je geen systeem dat sitemaps automatisch maakt, gebruik dan gratis tools of plugins die het voor je doen. Met de hand XML bewerken brengt inconsistenties met zich mee die crawlers in de war brengen.
Hoe passen sitemaps en IndexNow in je bredere strategie voor technische GEO?
Sitemaps en IndexNow zijn de basis. Ze lossen één probleem op: crawlers efficiënt bij je content krijgen. Maar ze werken binnen een groter geheel.
Sitemaps vervangen geen goede sitearchitectuur
Een sitemap helpt crawlers pagina's sneller te vinden, maar een nette informatiearchitectuur zorgt er in de eerste plaats voor dat pagina's vindbaar zijn. De structuur van je interne links moet crawlers vanzelf naar je belangrijke content leiden. De sitemap versterkt dat, maar vervangt het niet.
IndexNow lost trage publicatie van content niet op
IndexNow waarschuwt crawlers direct als nieuwe content klaar is. Maar doet je CMS er dagen over om een pagina te publiceren nadat je hem hebt geschreven, dan kan IndexNow niet helpen. Het tempo van je content telt. Publiceer consequent en IndexNow zorgt dat AI-systemen het direct weten.
Wat komt er na sitemaps en IndexNow?
Kunnen crawlers je content efficiënt vinden en bereiken, dan is de volgende laag je content aanhaalbaar maken. Dat betekent: gestructureerde data (schema-markup), een duidelijke hiërarchie van informatie en content die rechtstreeks de vragen beantwoordt die AI-systemen stellen. Lees voor meer verdieping de hoofdstukken over schema-markup en contentstructuur.
Veelgestelde vragen
Verbetert een sitemap mijn posities in zoekmachines?
Een sitemap verhoogt je posities niet direct, maar helpt Google en AI-crawlers je pagina's sneller te vinden en te indexeren. Sneller indexeren betekent dat je nieuwe content eerder in zoekresultaten verschijnt. Het is een hulpmiddel voor efficiëntie, zelf geen rankingfactor. Met de websitebouwer van WEMASY zet je dit direct op je website op.
Kan ik meer dan 50.000 URL's in één sitemap opnemen?
Nee. XML-sitemaps hebben een harde limiet van 50.000 URL's en 50 MB per bestand. Overschrijd je dit, maak dan een sitemap-index die naar meerdere sitemaps wijst. Gesegmenteerde sitemaps helpen crawlers je content ook efficiënter te verwerken.
Moet ik mijn sitemap bijwerken elke keer dat ik nieuwe content publiceer?
Je CMS moet dit automatisch doen. Werk je sitemap niet met de hand bij. Automatisch opnieuw maken voorkomt fouten en zorgt dat de sitemap altijd de huidige structuur van je site weergeeft.
Werkt IndexNow met Google?
Google ondersteunt IndexNow niet officieel. Google heeft een eigen indexeersysteem en geeft de voorkeur aan traditionele sitemaps. Wil je zichtbaar zijn op Bing, Yandex en andere platforms die IndexNow ondersteunen, voer het dan in. Voor Google leun je op sitemaps en goede content.
Welke prioriteit moet ik geven aan mijn belangrijkste pagina's?
Gebruik prioriteit 1,0 voor je echte pillar-pagina's en hoekstenen: ongeveer 10-15% van je site. Gebruik 0,7-0,8 voor ondersteunende content en 0,4-0,6 voor al het andere. Deze hiërarchie laat crawlers zien welke pagina's de meeste aandacht verdienen.
Kan ik bepaalde crawlers de toegang tot mijn sitemap blokkeren?
Je robots.txt-bestand verwijst algemeen naar je sitemap. Alle crawlers zien hem. Je regelt de toegang tot afzonderlijke pagina's met regels in robots.txt, maar niet de verwijzing naar de sitemap zelf. Wil je een crawler van je site weren, blokkeer hem dan op paginaniveau, niet op het niveau van de sitemap.