Heb je online naar je website gezocht en vind je hem nergens in de resultaten? Staat je website niet in Google of een andere zoekmachine, dan ligt het bijna altijd aan een klein aantal bekende problemen met indexering, en de meeste los je op zonder technische achtergrond. Dit artikel legt uit wat het betekent als een site niet in zoekresultaten verschijnt, wat de meest voorkomende oorzaken zijn, hoe je de huidige status van je indexering controleert en wat je doet om je pagina's gevonden te krijgen.
Het loont om dit probleem los te zien van de bredere vraag over verkeer. Helemaal niet in zoekresultaten staan, zonder resultaat voor je domein, ook niet als je op je merknaam zoekt, is een indexeringsprobleem. Het betekent dat zoekmachines je site nog niet hebben doorzocht of dat ze te horen hebben gekregen dat ze hem niet mogen opnemen. Dat is iets anders dan wel geïndexeerd zijn maar niet hoog scoren op concurrerende zoektermen. Beide leiden tot geen verkeer, maar ze hebben andere oorzaken en andere oplossingen.
Wat het betekent als je website niet in zoekresultaten staat
Zoekmachines werken in twee stappen. Eerst bezoekt een crawler je site en leest de pagina's. Daarna worden die pagina's toegevoegd aan een index, een enorme database met webinhoud waaruit de zoekmachine put als iemand zoekt. Staat je site helemaal niet in de zoekresultaten, dan gebeurt een van drie dingen: de crawler heeft je site nog niet bezocht, de crawler was er maar iets blokkeerde het lezen van je pagina's, of de pagina's zijn doorzocht maar gemarkeerd als niet geschikt voor opname in de index.
Het onderscheid tussen niet geïndexeerd en niet scoren is belangrijk, omdat de oplossingen totaal verschillen. Een site die niet is geïndexeerd, moet toegankelijk worden gemaakt voor crawlers en worden aangemeld voor opname. Een site die wel is geïndexeerd maar niet scoort, heeft betere inhoud, relevantere zoekwoorden en externe links naar zich toe nodig. Een probleem met scoren behandelen als een indexeringsprobleem, of andersom, kost tijd en levert niets op. De eerste stap is altijd bevestigen in welke situatie je echt zit.
Waarom je website niet in de zoekresultaten staat
Bij elke site die net is gelanceerd of recent geen zoekverkeer meer krijgt, vind je een van deze vijf oorzaken achter het probleem. Ze gelden voor alle grote zoekmachines, omdat het onderliggende mechanisme van crawlen en indexeren overal hetzelfde werkt.
Je website is nog niet doorzocht
Crawlers van zoekmachines bezoeken niet elke website op internet in real time. Ze volgen links van pagina naar pagina en plannen nieuwe bezoeken op basis van hoe vaak een site nieuwe inhoud publiceert en hoeveel andere sites ernaar linken. Een gloednieuwe website zonder externe links en zonder ingediende sitemap kan na de lancering weken of maanden niet worden doorzocht.
Dit is de meest voorkomende reden dat een nieuwe site niet in zoekresultaten staat, en ook de onschuldigste. Er is niets mis met de site. De crawler is er gewoon nog niet aan toegekomen. Een sitemap indienen via de webmastertools van zoekmachines verkort deze wachttijd flink, omdat je de zoekmachine zo direct vertelt dat je site bestaat en waar de pagina's staan.
Je site staat zo ingesteld dat hij zoekmachines blokkeert
Elke website heeft een bestand met de naam robots.txt dat crawlers vertelt wat ze wel en niet mogen bezoeken. Tijdens ontwikkeling en testen is het gebruikelijk om in dit bestand een regel toe te voegen die alle crawlers blokkeert. Zo voorkom je dat half afgebouwde pagina's in zoekresultaten verschijnen voordat de site klaar is. Het probleem is dat deze instelling soms blijft staan als de site live gaat.
Een robots.txt met de regel Disallow: / onder User-agent: * betekent dat elke crawler van een zoekmachine wordt geblokkeerd voor elke pagina op je site. Van buiten ziet de site er helemaal normaal uit. Een mens die de site bezoekt, ziet alles goed. Maar geen enkele crawler komt binnen, waardoor er geen pagina's worden geïndexeerd en er geen verkeer uit zoekmachines komt. Dit is een van de meest impactvolle en makkelijkst over het hoofd geziene oorzaken van een site die niet in zoekresultaten verschijnt.
Controleer je robots.txt door in een browser naar jedomein.nl/robots.txt te gaan. Staan er algemene blokkades in, haal ze dan weg of pas ze aan zodat crawlen is toegestaan, en dien daarna je sitemap opnieuw in om een nieuwe crawl uit te lokken.
Losse pagina's hebben een noindex-instructie
Naast het robots.txt-bestand voor de hele site kunnen losse pagina's in hun HTML instructies hebben die zoekmachines vertellen ze niet in de index op te nemen. Dit heet een noindex-tag.
Noindex-tags worden terecht gebruikt op pagina's die niet in zoekresultaten horen, zoals inlogpagina's, bevestigingspagina's bij het afrekenen en pagina's met interne zoekresultaten. Het probleem ontstaat als ze per ongeluk op pagina's terechtkomen. Dat gebeurt bij verhuizingen van sites, wisselingen van platform, of als pagina's zijn gebouwd uit sjablonen waarin noindex standaard aanstond. Een noindex-tag op je homepage of belangrijkste pagina's voor diensten houdt die pagina's volledig uit de zoekresultaten, hoe goed de inhoud ook is of hoeveel links ernaartoe wijzen.
Om te controleren op per ongeluk geplaatste noindex-tags moet je de broncode van elke pagina bekijken of de site door een crawltool halen die pagina's met deze instructie markeert.
Er wijzen geen externe links naar je website
Crawlers vinden pagina's door links te volgen. Een website zonder externe links, waar geen enkele andere site op internet naar linkt, is een eiland. De enige manier waarop een crawler er komt, is via een directe sitemap of doordat de URL al in de wachtrij staat door een eerder bezoek. Bij heel nieuwe sites vertraagt het ontbreken van externe links het vinden en indexeren aanzienlijk.
Externe links zijn ook signalen van geloofwaardigheid. Een site zonder links van andere betrouwbare bronnen ziet er vanuit de zoekmachine uit als iets wat misschien niet de moeite van het indexeren waard is. Dat betekent niet dat je honderden links nodig hebt voordat je site in zoekresultaten verschijnt. Zelfs een of twee links van relevante, betrouwbare bronnen kunnen voor een nieuw domein echt verschil maken. Voor een breder beeld van hoe verkeer uit alle bronnen hierdoor wordt beïnvloed, lees je het artikel over waarom je website geen verkeer krijgt.
Je website is net gelanceerd
Ook als alles goed is ingesteld, duurt het even voordat nieuwe websites in zoekresultaten verschijnen. De crawlcyclus, het indexeren en de eerste beoordeling voor de ranking kosten allemaal tijd. Een site die vandaag live gaat met een schone robots.txt, een ingediende sitemap, juiste metatags en een paar externe links kan nog vier tot twaalf weken nodig hebben voordat zijn pagina's bij enige zoekopdracht verschijnen.
Dit is geen storing. Het is de normale gang van zaken. De tijd kan korter, maar niet worden weggenomen. Het ergste wat je kunt doen, is in deze wachtperiode wijzigingen maken die echt problemen veroorzaken, en dan niet weten of het blijven wegblijven uit de resultaten de oorspronkelijke vertraging is of een nieuw probleem door die wijzigingen.
Hoe controleer je of je website is geïndexeerd?
De snelste manier om te controleren of je site is geïndexeerd, is met de site:-operator in een grote zoekmachine. Typ site:jedomein.nl in de zoekbalk en druk op enter. Verschijnen er pagina's van je site in de resultaten, dan is je site geïndexeerd. Verschijnt er niets, dan is je site niet of maar gedeeltelijk geïndexeerd.
Een gedetailleerdere controle kan via de webmastertools van zoekmachines. Die platforms laten precies zien welke pagina's zijn geïndexeerd, welke zijn doorzocht maar niet geïndexeerd, welke worden geblokkeerd door robots.txt of noindex-tags en welke crawlfouten hebben. Het dekkingsrapport in deze tools is de betrouwbaarste manier om een volledig beeld te krijgen van de status van je indexering. Het toont ook handmatige maatregelen tegen je site, een minder vaak voorkomende maar ernstigere oorzaak van wegblijven uit zoekresultaten.
Met webmastertools kun je ook indexering aanvragen voor specifieke URL's, wat het proces kan versnellen voor nieuw gepubliceerde pagina's of pagina's die eerder geblokkeerd waren en nu zijn hersteld.
Hoe krijg je je website geïndexeerd?
Als je de oorzaak hebt gevonden, zijn de stappen helder. De meeste indexeringsproblemen hebben een directe oplossing, en het resultaat zie je meestal binnen een paar weken na de aanpassing.
Dien een sitemap in
Een sitemap is een bestand, meestal in XML-formaat, met een lijst van elke pagina die zoekmachines moeten indexeren. Het indienen via webmastertools is de directste manier om zoekmachines te vertellen dat je site bestaat en een crawl uit te lokken. Is je site al doorzocht maar missen sommige pagina's in de index, dan kan het indienen van een sitemap helpen om die pagina's ter beoordeling boven te halen.
Controleer of je platform automatisch een sitemap maakt en die bijwerkt als je nieuwe pagina's publiceert. Is dat zo, controleer dan de URL van de sitemap (meestal jedomein.nl/sitemap.xml) en dien die in via webmastertools. Meer over hoe updates van inhoud de gezondheid en zichtbaarheid van je site beïnvloeden vind je in het artikel over hoe je de inhoud van je website bijwerkt.
Haal beperkingen voor crawlers weg
Blokkeert je robots.txt crawlers, pas het dan aan zodat toegang is toegestaan. De wijziging gaat in de volgende keer dat een crawler langskomt. Gebruik na het aanpassen van robots.txt webmastertools om een nieuwe crawl aan te vragen, zodat de wijziging snel wordt opgepakt en je niet op het volgende geplande bezoek hoeft te wachten.
Hebben losse pagina's noindex-tags die er niet horen, haal die tags dan weg en vraag via webmastertools opnieuw indexering aan voor de betreffende pagina's. Laat de noindex-tags staan op pagina's die niet geïndexeerd moeten worden, zoals beheerpagina's, dubbele inhoud en pagina's met weinig waarde.
Zorg voor minstens een paar externe links
Zelfs een klein aantal externe links naar je site helpt op twee manieren: het geeft crawlers een pad om je pagina's te vinden door gewoon links te volgen, en het laat zoekmachines zien dat je site een echte, actieve aanwezigheid op het web is. Begin met de makkelijkst bereikbare bronnen: relevante bedrijvengidsen, brancheverenigingen, partners, leveranciers of publicaties in jouw vakgebied die doorlinken naar merken die ze noemen.
Je hoeft geen tientallen links te bouwen voordat je site in zoekresultaten verschijnt. Voor een nieuw domein is een handvol relevante, betrouwbare links genoeg om het crawlen en indexeren normaal te laten verlopen.
Herstel kapotte pagina's
Pagina's die foutcodes geven, vooral 404-fouten voor pagina's die niet meer bestaan, kunnen ertoe leiden dat crawlers een domein lager prioriteit geven als het er veel zijn. Herstel interne links die naar verwijderde pagina's wijzen, stel doorverwijzingen in van oude URL's naar de juiste bestemmingspagina's en controleer of er pagina's op je site zijn die fouten geven. Voor een volledig overzicht van hoe 404-fouten werken en hoe je ze oplost, lees je het artikel over wat een 404-fout is en hoe je hem oplost. Over het verwante probleem van kapotte links lees je het artikel over wat kapotte links zijn en waarom ze je site schaden.
Hoe WEMASY met indexering omgaat
WEMASY maakt voor elke site automatisch een sitemap en werkt die bij als pagina's worden gepubliceerd. De instellingen voor robots.txt vind je in de platforminstellingen, dus er is geen risico dat een blokkade voor crawlers uit de ontwikkelfase actief blijft na de lancering. Elke pagina bevat bediening voor metatags, inclusief de mogelijkheid om noindex in te stellen op losse pagina's waar dat nodig is, direct in de pagina-editor en zonder code aan te raken.
Voor merken die de status van hun indexering willen volgen, laat de analytics-koppeling van WEMASY gegevens van zoekmachines zien. Zo volg je welke pagina's organisch verkeer krijgen en zie je pagina's die wel zijn geïndexeerd maar nog geen bezoekers sturen.
Bekijk wat erbij zit op de websitebouwer van WEMASY, of bekijk de abonnementen op de prijzenpagina.
Veelgestelde vragen
Hoe lang duurt het voordat een website in zoekresultaten verschijnt?
Voor een nieuwe site met een ingediende sitemap en zonder beperkingen voor crawlers duurt de eerste indexering meestal een tot vier weken. Volledige indexering van alle pagina's en het begin van scoren op de gekozen zoekwoorden duurt meestal drie tot zes maanden. Sites waar meer externe links naar wijzen worden vaker doorzocht en meestal sneller geïndexeerd. Met de websitebouwer van WEMASY zet je dit direct op je eigen website op.
Wat is het verschil tussen geïndexeerd zijn en scoren in zoekresultaten?
Geïndexeerd zijn betekent dat je pagina in de database van de zoekmachine staat en in aanmerking komt om in resultaten te verschijnen. Scoren gaat over waar je pagina verschijnt als iemand zoekt op een relevante term. Een pagina kan geïndexeerd zijn maar op pagina 10 staan, waar hij geen noemenswaardig verkeer krijgt. Indexering is een voorwaarde om te scoren, maar indexering alleen garandeert geen zichtbaarheid.
Hoe weet ik of mijn website is geïndexeerd?
Zoek op site:jedomein.nl in een grote zoekmachine. Verschijnen er pagina's van je site in de resultaten, dan is je site geïndexeerd. Voor een gedetailleerder overzicht van welke pagina's zijn geïndexeerd, welke worden geblokkeerd en welke fouten hebben, gebruik je de webmastertools van zoekmachines. Het dekkingsrapport daar geeft een compleet beeld.
Kan een noindex-tag per ongeluk op een pagina terechtkomen?
Ja. Noindex-tags kunnen per ongeluk worden toegevoegd bij verhuizingen van sites, wisselingen van platform of als pagina's worden gemaakt uit sjablonen waarin de tag standaard aanstond. Dit is een van de lastigste problemen om op te sporen, omdat de pagina er voor bezoekers helemaal normaal uitziet. Alleen een crawler of iemand die de broncode van de pagina bekijkt, merkt het. Een crawlaudit is de betrouwbaarste manier om per ongeluk geplaatste noindex-tags op je hele site te vinden.
Is indexering meteen hersteld als ik een blokkade in robots.txt weghaal?
Niet meteen. Na het weghalen van een blokkade voor crawlers moet je wachten tot de volgende crawl plaatsvindt. Je sitemap indienen via webmastertools en een crawl aanvragen versnelt dit aanzienlijk. In de meeste gevallen komen crawlers binnen een paar dagen tot een week na het verzoek langs. Pagina's verschijnen in de resultaten nadat ze zijn doorzocht en verwerkt, en dat kan nog een paar dagen langer duren.
Mijn site stond eerst wel in de resultaten maar is verdwenen. Wat is er gebeurd?
Een site die eerst was geïndexeerd en uit de resultaten is verdwenen, is een andere situatie dan een nieuwe site die nooit is geïndexeerd. Veelvoorkomende oorzaken zijn een wijziging in robots.txt die een blokkade voor crawlers invoerde, een noindex-tag die per ongeluk is toegevoegd, een handmatige maatregel van een zoekmachine wegens overtreding van het beleid, een forse daling in signalen voor de kwaliteit van de site, of een verlopen en opnieuw geregistreerd domein waardoor het opgebouwde gezag is gereset. Controleer eerst in webmastertools op handmatige maatregelen en dekkingsfouten, want die tonen de ernstigste oorzaken meteen.