Zoekmachines werken in drie stappen: crawlen vindt pagina's, indexeren bewaart ze en ranken toont bij elke zoekopdracht de meest relevante resultaten.
Elke keer dat je iets zoekt, gebruik je een systeem dat al miljoenen pagina's heeft bezocht, heeft ingedeeld en heeft bepaald welke pagina's jouw vraag het best beantwoorden. Maar hoe werkt dat? Wat gebeurt er tussen het intypen van je zoekopdracht en het tonen van de resultaten?
Zoekmachines hebben drie taken. Ze vinden pagina's die op internet bestaan. Ze analyseren en bewaren waar die pagina's over gaan. En als iemand zoekt, geven ze de pagina's terug die het best passen bij wat die persoon zoekt. Deze drie stappen heten crawlen, indexeren en ranken.
Hoe crawlen pagina's ontdekt
Voordat een zoekmachine een pagina in de resultaten kan tonen, moet hij weten dat de pagina bestaat. Daar komt crawlen om de hoek kijken. Een crawler (ook wel bot of spider genoemd) is een geautomatiseerd programma dat over het web reist en links volgt van de ene pagina naar de andere.
Als je een nieuwe website lanceert, verschijnt die niet automatisch in de zoekresultaten. De crawler van de zoekmachine moet hem eerst vinden. Crawlers ontdekken pagina's op twee manieren. Ze volgen links vanaf pagina's die ze al hebben bezocht. Linkt een andere website naar jouw pagina, dan vindt de crawler hem uiteindelijk door die link te volgen. Ze lezen ook sitemaps: bestanden die je kunt indienen en die alle pagina's van je website opsommen. Lees meer over hoe je een sitemap maakt voor beter crawlen.
Als een crawler een pagina vindt, rankt hij die niet meteen en toont hij die niet meteen in de resultaten. Hij noteert alleen dat de pagina bestaat. Daarna gaat de crawler door naar andere pagina's en geeft hij steeds nieuwe en bijgewerkte pagina's door aan de zoekmachine.
Crawlbudget doet ertoe
Zoekmachines kunnen maar een beperkt aantal pagina's van je website tegelijk crawlen. Dat heet crawlbudget. Bij een grote website met duizenden pagina's worden niet alle pagina's in dezelfde week gecrawld. Tragere websites verspillen crawlbudget, omdat de crawler tijd kwijt is aan wachten tot pagina's laden in plaats van door je site te gaan. Een snelle, goed georganiseerde website helpt de crawler efficiënt door je pagina's te bewegen.
Hoe indexeren paginagegevens ordent en bewaart
Zodra een crawler een pagina vindt, is de volgende stap indexeren. Indexeren is het proces waarin de pagina wordt geanalyseerd en informatie erover wordt bewaard in een enorme database. Zie indexeren als het opbouwen van een bibliotheekcatalogus. De bibliothecaris zet het boek niet zomaar op een plank. Hij leest het, analyseert waar het over gaat en maakt een vermelding die anderen later helpt het te vinden.
Als een pagina wordt geïndexeerd, analyseert de zoekmachine de inhoud, koppen, zoekwoorden en structuur. Hij kijkt hoe snel de pagina laadt, of hij werkt op mobiele apparaten en welke andere pagina's ernaar linken. Al deze informatie wordt bewaard in de index.
Niet elke pagina wordt op dezelfde manier geïndexeerd. Sommige pagina's worden uitgesloten van indexering als ze zijn geblokkeerd door een robots.txt-bestand of een no-indextag hebben. Pagina's met erg weinig unieke inhoud of pagina's die te traag zijn, komen mogelijk ook niet in de index. Een pagina kan worden gecrawld maar niet geïndexeerd. Lees onze gids over waarom sommige pagina's niet goed scoren om indexeringsproblemen beter te begrijpen.
Indexeren gebeurt in fasen
Nadat een pagina is gecrawld, verschijnt hij niet meteen in de zoekresultaten. Indexeren kan dagen of weken duren, afhankelijk van de pagina en de site. Nieuwe pagina's worden misschien sneller geïndexeerd, omdat zoekmachines verse inhoud willen ontdekken. Pagina's op sites die al lang goede inhoud publiceren, worden vaak sneller geïndexeerd dan pagina's op nieuwe sites.
Hoe ranken bepaalt welke pagina's bovenaan staan
Als iemand een zoekopdracht intypt, toont de zoekmachine niet alle pagina's uit de index die bij die woorden passen. Hij geeft de pagina's terug die hij het meest relevant, het nuttigst en het betrouwbaarst vindt. Dit is ranken. De zoekmachine kijkt naar meer dan 200 verschillende signalen om te bepalen welke pagina's eerst komen, welke tweede en welke misschien helemaal niet verschijnen.
Sommige van die signalen staan op je pagina. De woorden die je gebruikt, hoe je je inhoud opbouwt, hoe snel je pagina laadt en of hij werkt op telefoons beïnvloeden allemaal je positie. Andere signalen komen van buiten je pagina. Hoeveel andere sites naar je pagina linken, hoe mensen met je pagina omgaan als ze hem vinden en de algemene reputatie van je site spelen ook mee.
Een belangrijk signaal is zoekintentie. Zoekt iemand op "hoe repareer ik een lekkende kraan", dan zoekt de zoekmachine pagina's die uitleggen hoe je dat doet, geen pagina's die kraanreparatiesets willen verkopen. De zoekmachine heeft geleerd wat mensen echt willen als ze die zin typen en geeft pagina's terug die bij die intentie passen. Lees er meer over in zoekintentie en wat mensen echt willen.
Posities veranderen voortdurend
Je positie ligt niet vast. Zoekmachines werken hun rankingalgoritmen regelmatig bij. Soms veranderen posities omdat de zoekmachine zijn systeem bijstelt. Soms omdat concurrenten betere inhoud publiceren. Soms omdat je eigen pagina beter wordt en stijgt. Je positie over tijd volgen helpt je begrijpen of je SEO-inspanningen werken. Lees meer over waarom je concurrenten hoger kunnen scoren en wat je eraan kunt doen.
De volledige cyclus
Deze drie stappen gebeuren niet eenmalig. Crawlers bezoeken pagina's steeds opnieuw, op zoek naar wijzigingen en nieuwe inhoud. Werk je een pagina bij, dan vinden crawlers die updates en wordt de pagina opnieuw geïndexeerd. Het rankingalgoritme berekent posities voortdurend opnieuw op basis van nieuwe gegevens.
De snelheid van deze cyclus hangt af van de autoriteit van je site. Pagina's op gevestigde sites met een lange geschiedenis van goede inhoud worden vaker gecrawld en opnieuw geïndexeerd. Nieuwe sites moeten soms langer wachten voordat wijzigingen in de resultaten verschijnen. Daarom is SEO een inspanning voor de lange termijn. Je kunt vandaag een pagina publiceren en niet verwachten dat hij morgen hoog staat. Het systeem moet hem eerst ontdekken, indexeren en beoordelen voordat hij in de resultaten verschijnt. Voor een volledige strategie voor beginners volg je ons SEO-plan voor beginners.
Veelgestelde vragen
Hoe vaak crawlen zoekmachines mijn website?
Dat hangt af van de leeftijd en autoriteit van je site. Nieuwe sites worden misschien één keer per week of minder gecrawld. Gevestigde sites met veel verkeer worden meerdere keren per dag gecrawld. Je ziet de crawlactiviteit in je Google Search Console-account onder het rapport Crawlstatistieken. Wil je dat crawlers updates sneller opmerken, dien de URL dan rechtstreeks in bij Google Search Console. Met de websitebouwer van WEMASY stel je dit direct op je website in.
Kan ik mijn pagina sneller laten indexeren?
Ja, een paar dingen helpen. Zorg dat je pagina vindbaar is door een sitemap in te dienen bij Google Search Console. Verbeter de snelheid van je site, want crawlers wachten dan minder lang en vinden meer nieuwe pagina's. Link naar nieuwe pagina's vanaf je homepage of andere pagina's met veel autoriteit op je site. En publiceer regelmatig verse inhoud, zodat zoekmachines je site vaker controleren.
Wat is het verschil tussen crawlen en indexeren?
Crawlen is wanneer de zoekmachine een pagina bezoekt en leest. Indexeren is wanneer de zoekmachine informatie over die pagina bewaart, zodat hij later als zoekresultaat kan worden getoond. Een pagina kan worden gecrawld maar niet geïndexeerd als hij erg weinig unieke inhoud heeft of als je de zoekmachine zegt hem niet te indexeren.
Garandeert een sitemap dat mijn pagina's worden geïndexeerd?
Nee. Een sitemap helpt de crawler je pagina's sneller te vinden, maar dwingt Google niet ze te indexeren. De zoekmachine bepaalt nog steeds of elke pagina nuttig genoeg is om in de index te bewaren. Een sitemap helpt, maar is geen garantie.
Kan ik voorkomen dat mijn pagina wordt geïndexeerd?
Ja. Je kunt een no-indextag toevoegen aan de header van de pagina, die zoekmachines vertelt hem niet in de resultaten op te nemen. Je kunt ook het crawlen helemaal blokkeren met robots.txt. Wees hier voorzichtig mee, want je pagina verschijnt dan niet in de zoekresultaten, ook niet als het verder goede inhoud is die mensen willen vinden.
Worden de mobiele versie en de desktopversie apart geïndexeerd?
Zoekmachines gebruiken nu mobile-first indexing. Dat betekent dat ze vooral de mobiele versie van je pagina gebruiken om hem te indexeren en te ranken. Ontbreekt er op je mobiele pagina inhoud die wel op je desktopversie staat, dan wordt die ontbrekende inhoud niet geïndexeerd. Zorg dat je mobiele site dezelfde kwaliteit en inhoud heeft als je desktopversie.