De meeste website-eigenaren wachten tot crawlers hun content vinden. Ze publiceren op maandag een pagina en hopen dat een bot haar woensdag ontdekt. Bij AI-crawlers telt die wachttijd zwaarder dan ooit. Perplexity crawlt het web meerdere keren per dag. Versheid is geen klein rankingsignaal. Het is het verschil tussen dat jouw content wordt geciteerd of die van je concurrent.
XML-sitemaps en IndexNow zijn de twee hulpmiddelen die dit omdraaien. In plaats van passief te wachten, vertel je crawlers precies waar je content staat en wanneer ze is veranderd. Sitemaps ordenen je pagina's zodat crawlers ze sneller vinden. IndexNow stuurt zoekmachines actief een seintje op het moment dat er iets verschijnt. Samen verkleinen deze tools de ontdekkingstijd van dagen naar uren. Voor AI-platforms, waar versheid je zichtbaarheid kan maken of breken, is dat snelheidsvoordeel echt.
Wat een XML-sitemap doet voor AI-crawlers
Een XML-sitemap is een gestructureerd bestand met alle belangrijke pagina's van je website. Het vertelt crawlers de URL van elke pagina, wanneer die voor het laatst is bijgewerkt, hoe belangrijk die is ten opzichte van andere pagina's en hoe vaak die verandert.
Voor traditionele zoekmachines zijn sitemaps een extraatje. Voor AI-crawlers zijn ze bijna essentieel. Analyse van serverlogs van 85 domeinen laat zien dat GPTBot (de crawler van OpenAI) in de eerste ontdekkingsfase in 76% van de gevallen sitemaps raadpleegt. Googlebot gebruikt sitemaps maar in 54% van de gevallen. AI-systemen leunen zwaarder op sitemaps, omdat ze snel de structuur en prioriteit van je content willen begrijpen.
De reden doet ertoe. Perplexity crawlt voortdurend. Het moet nieuwe content snel vinden. ChatGPT indexeert selectief. Het geeft voorrang aan de pagina's die voor jou het belangrijkst zijn. Is je sitemap rommelig of onvolledig, dan verberg je content in feite voor de crawlers die bepalen of je merk in antwoorden wordt geciteerd.
Hoe AI-crawlers je sitemap anders gebruiken
Een sitemap vertelt crawlers drie dingen. Waar je content staat. Welke pagina's het belangrijkst zijn. En wanneer er iets is veranderd.
Voor AI-systemen is dat derde punt cruciaal. Als je een pagina bijwerkt, laat de lastmod-tag (laatst gewijzigd) in je sitemap zien dat de content is veranderd. GPTBot controleert deze tag. Perplexity controleert deze tag. Ziet een AI-crawler een verse update in je sitemap, dan crawlt hij die pagina eerder opnieuw. Zegt je sitemap dat een pagina al zes maanden niet is veranderd, dan krijgt ze minder prioriteit. Door de voorkeur voor recente content bij AI-platforms is dit het belangrijkste stukje metadata dat je zelf beheert.
Het tweede stukje doet er ook toe. Je sitemap bevat een priority-tag die crawlers vertelt welke pagina's voor jou het belangrijkst zijn. Pagina's krijgen een prioriteitsscore van 0 tot 1. Je homepage is misschien 1,0. Je blog 0,8. Oude gearchiveerde content 0,3. AI-crawlers zien prioriteit niet als rankingsignaal, maar wel als signaal voor efficiëntie. Als je een AI-crawler vertelt dat 60% van je site weinig prioriteit heeft, weet hij waar hij zijn crawlbudget op moet richten.
De sitemap-optimalisatie waar AI-crawlers op reageren
De meeste bedrijven maken één sitemap en vergeten hem. De crawlers vinden hem. De content wordt geïndexeerd. Klaar.
AI-crawlers belonen specifiek zijn. Gesegmenteerde sitemaps presteren 67% beter. In plaats van elke pagina in één enorme sitemap te gooien, maak je aparte sitemaps voor verschillende soorten content. Eén voor blogberichten. Eén voor productpagina's. Eén voor leergidsen. Eén voor je hoofdpagina's.
Waarom doet dit ertoe? Als een AI-crawler je site bezoekt, heeft hij beperkt tijd en crawlbudget. Zeg je dat je sitemap 10.000 pagina's door elkaar bevat en hij maar tijd heeft om er 1.000 te crawlen, dan moet hij raden welke 1.000 ertoe doen. Segmenteer je je sitemaps en vertel je dat je blogsitemap 400 pagina's heeft en je productsitemap 50, dan weet de crawler precies hoe hij zijn budget verdeelt. Productpagina's worden dieper gecrawld. Recente blogberichten worden meerdere keren gecrawld.
De verbetering zie je terug in de ontdekkingssnelheid. Gesegmenteerde sitemaps zorgen voor 34% snellere ontdekking van de hele site door AI-crawlers. Sites met één enorme sitemap wachten 30 dagen op volledige crawldekking. Sites met gesegmenteerde sitemaps zien volledige dekking in 20 dagen.
Segmenteren is eenvoudig. Je maakt aparte sitemapbestanden voor verschillende delen van je site en zet ze allemaal in een sitemapindex. De meeste contentmanagementsystemen (WEMASY inbegrepen) maken sitemaps automatisch. De meeste platforms laten je ze ook per type of sectie segmenteren.
De lastmod-tag goed instellen
De lastmod-tag is je signaal van versheid naar AI-crawlers. Als je nieuwe content publiceert, begint ze met de datum van vandaag. Werk je een oud artikel bij, dan werk je ook de lastmod-datum bij. De crawler ziet dit en weet dat er iets is veranderd.
Veel sites doen dit fout. Ze publiceren een pagina in januari en de lastmod-datum blijft voor altijd januari. Ze werken de pagina in mei bij maar vergeten de sitemap bij te werken. De crawler ziet geen verandering en crawlt haar niet opnieuw.
Voor AI-platforms is dit een kritieke fout. Perplexity gebruikt de versheid van content specifiek om te bepalen of het je citeert. Een pagina met een verouderde lastmod-tag ziet er oud uit. Een pagina met een actuele lastmod-tag ziet er vers uit. Onderhoud je je content en werk je haar regelmatig bij, zorg dan dat je sitemap dat weerspiegelt.
De beste aanpak is dit te automatiseren. Plug-ins en apps voor de meeste moderne contentplatforms werken de lastmod-datum automatisch bij zodra je iets aan een pagina verandert. Stel het één keer in en vergeet het. De crawlers zien voortdurend verse signalen.
Wat IndexNow doet dat sitemaps niet kunnen
Een sitemap is passief. Je maakt hem. Je publiceert hem. Dan wacht je tot crawlers hem ontdekken. Crawlers bezoeken je sitemap op hun eigen schema, niet op het jouwe. Bezoekt een bot je een keer per week, dan wacht je nieuwe content een week op ontdekking.
IndexNow draait dit om. In plaats van op crawlers te wachten, breng je ze actief op de hoogte. Op het moment dat je een pagina publiceert, stuurt IndexNow zoekmachines een seintje met "hé, ik heb dit net gepubliceerd". Bing, Yandex, Seznam.cz en Naver ondersteunen allemaal IndexNow. Meld je aan bij één API-endpoint en alle vier krijgen de melding.
IndexNow is gratis en open source. Het is ontwikkeld door Microsoft, Yandex en andere zoekbedrijven, speciaal tegen het probleem van trage ontdekking. Voor IndexNow moesten SEO'ers vertrouwen op backlinks of gewoon crawlen om nieuwe content onder de aandacht te krijgen. Met IndexNow bepaal je zelf de aankondiging.
Het effect is direct. Zonder IndexNow wacht een nieuwe pagina op je server. Met IndexNow wordt de pagina binnen uren gecrawld, soms binnen minuten. Je gaat van een ontdekkingstijd van dagen naar een ontdekkingstijd van uren.
Hoe IndexNow samenwerkt met je sitemap
IndexNow en sitemaps zijn geen concurrenten. Ze werken samen. Je sitemap vertelt crawlers de structuur en prioriteit van je content. IndexNow vertelt crawlers dat er nu iets is veranderd.
Zo gaat het. Je publiceert een nieuwe pagina. IndexNow stuurt automatisch een melding naar zoekmachines met die nieuwe URL. De crawler ontvangt de melding en komt direct langs. Als hij aankomt, leest hij je sitemap om de context te begrijpen. Is dit een pagina met hoge of lage prioriteit? Is ze bijgewerkt sinds de vorige crawl? Hoort ze bij een contentcluster?
De sitemap geeft de crawler context. IndexNow geeft hem snelheid. Zonder sitemaps weet de crawler dat een pagina bestaat, maar niet hoe hij haar moet prioriteren of of hij verwante pagina's moet crawlen. Met beide tools samen wordt ontdekking snel en slim.
Zo zet je IndexNow op
IndexNow vraagt drie dingen. Een API-sleutel die bewijst dat je het domein bezit. Een verificatiebestand op je domein dat het eigendom bewijst. En een manier om URL's naar de IndexNow-API te sturen.
Gebruik je een CMS met een officiële plug-in voor IndexNow, dan regelt die alles automatisch. Schakel hem in en hij maakt je sleutel, het verificatiebestand en stuurt URL's op zodra je content publiceert of bijwerkt. Verder is er niets in te stellen dan op installeren klikken.
Gebruik je WEMASY of een ander modern platform, dan bevatten de meeste hostingplatforms een koppeling met IndexNow. Kijk in je publicatie-instellingen. Is ze beschikbaar, zet haar dan aan.
Beheer je je eigen server of gebruik je een platform zonder ingebouwde koppeling, dan kun je URL's handmatig insturen via de IndexNow-website of met directe API-aanroepen. De documentatie van IndexNow beschrijft beide manieren.
Welke crawlers IndexNow ondersteunen en waarom dat ertoe doet
IndexNow wordt ondersteund door Bing, Yandex, Seznam.cz en Naver. Dat zijn de grote zoekplatforms buiten Google.
Hier zit de verrassing. ChatGPT crawlt mee met deze platforms. Als Bing crawlt, komt GPTBot er vaak achteraan. Als Yandex crawlt, kan de melding de indexering versnellen voor Perplexity en andere AI-systemen die op vergelijkbare crawlerinfrastructuur leunen.
Google ondersteunt IndexNow officieel niet. Dat verschil is goed om te begrijpen. Google heeft een eigen systeem voor het ontdekken van content. Google Search Console speelt voor Google een vergelijkbare rol als IndexNow. Maar voor de rest van het AI-ecosysteem is IndexNow hoe je nieuwe content aankondigt.
Veel teams gebruiken Google Search Console en IndexNow samen. Google krijgt de aankondiging via Search Console. Het bredere AI-ecosysteem krijgt de aankondiging via IndexNow. Deze dubbele aanpak verkort de ontdekkingstijd op alle platforms.
Het voordeel bij ontdekking als deze tools samenwerken
Zonder een van deze tools gaat het zo. Je publiceert op maandag een pagina. Een crawler bezoekt je site ergens die week en ontdekt haar. Op vrijdag heeft de crawler haar verwerkt. De maandag erna verschijnt ze misschien in sommige resultaten. Volledige ontdekking op meerdere AI-platforms duurt weken.
Met alleen een sitemap gaat ontdekking sneller. De crawler moet je sitemap nog steeds vinden. Maar als hij dat doet, weet hij waar hij je meest recente content vindt. Is je sitemap geoptimaliseerd, dan breng je de ontdekkingstijd terug van weken naar 5 tot 7 dagen.
Met alleen IndexNow wordt een pagina direct aangekondigd. Maar zonder de context van een sitemap weet de crawler niet of deze pagina bij andere verwante content hoort. Hij crawlt de URL zelf, maar mist misschien het thematische cluster. Ontdekking is snel, maar onvolledig.
Met beide tools samen krijg je snelle en slimme ontdekking. IndexNow kondigt de pagina direct aan. De crawler crawlt haar binnen uren. Je sitemap vertelt hem dat dit onderdeel is van een serie van drie artikelen over hetzelfde onderwerp. De crawler geeft de serie voorrang. Alle drie de artikelen worden binnen 24 uur ontdekt en geïndexeerd. Perplexity ziet het verse cluster. Als iemand een vraag stelt over het onderwerp, is jouw content beschikbaar om te citeren. Je ging van weken naar uren.
Veelgestelde vragen
Heb ik zowel een sitemap als IndexNow nodig, of is een van de twee genoeg?
Je hebt beide nodig. Sitemaps vertellen crawlers de structuur en prioriteit van je content. IndexNow vertelt ze dat er nu iets is veranderd. Een sitemap zonder IndexNow betekent trage ontdekking. IndexNow zonder sitemap betekent snelle ontdekking van losse pagina's, maar geen context voor verwante content. Beide tools samen geven je snelheid en slimheid. Met de websitebouwer van WEMASY stel je dit direct op je eigen website in.
Werkt IndexNow voor AI-crawlers zoals GPTBot en Perplexity?
IndexNow wordt officieel ondersteund door Bing, Yandex, Seznam.cz en Naver. ChatGPT crawlt mee met Bing, dus meldingen via IndexNow zetten vaak crawls van GPTBot in gang. Perplexity crawlt het web direct en reageert ook op updates van sitemaps. Dus hoewel IndexNow geen officieel product van Perplexity is, versnelt het de ontdekking toch, omdat Perplexity vergelijkbare infrastructuur gebruikt als Yandex en andere ondersteunde platforms.
Hoe vaak moet ik mijn sitemap bijwerken als ik voortdurend content publiceer?
Publiceer je vaak, automatiseer dan het bijwerken van de sitemap. De meeste contentmanagementsystemen werken sitemaps automatisch bij zodra je een pagina publiceert of verandert. De lastmod-tag wordt ook automatisch bijgewerkt. Je moet je sitemapbestand niet handmatig bijwerken. Zet automatisering op en laat haar op de achtergrond draaien.
Moet ik één grote sitemap maken of meerdere gesegmenteerde?
Gesegmenteerde sitemaps presteren 67% beter dan één enorm bestand. Heb je meer dan 500 pagina's, splits je sitemap dan op in segmenten per soort content of sectie. Maak er één voor blogberichten, één voor producten, één voor gidsen, enzovoort. Zet daarna alle segmentsitemaps in een sitemapindex. Crawlers ontdekken meer content sneller, omdat je ze precies hebt verteld waar ze moeten kijken naar wat voor jou het belangrijkst is.
Wat als ik WEMASY of een ander platform gebruik dat sitemaps automatisch maakt?
De meeste moderne platforms regelen sitemaps en de koppeling met IndexNow voor je. Kijk in de instellingen van je site. Ondersteunt je platform IndexNow, zet het dan aan. Maakt het automatisch sitemaps (wat de meeste doen), controleer dan of de lastmod-datums correct worden bijgewerkt als je content publiceert of bewerkt. Werkt de automatisering, dan hoef je verder niets te doen.
Hoe lang duurt het voordat content in AI-antwoorden verschijnt nadat ik haar met IndexNow heb ingestuurd?
De ontdekkingssnelheid wisselt. Sommige AI-crawlers bereiken je content binnen minuten na een melding via IndexNow. Andere doen er tot 24 uur over. Perplexity is meestal het snelst. Of je echt in AI-antwoorden verschijnt, hangt af van of je content goed genoeg is om te citeren. Dat een crawler je pagina vindt, betekent niet dat een AI-engine haar gebruikt. Snellere ontdekking helpt, maar kwalitatieve content telt zwaarder. Beantwoordt je pagina de vraag direct en heeft ze verse data, dan maak je kans. Is ze dun of vaag, dan helpt snelle ontdekking niet.