Het SSL-certificaat van je site werkt prima voor mensen. Maar AI-crawlers zoals GPTBot, ClaudeBot en PerplexityBot krijgen helemaal geen toegang tot je content.
De meeste GEO-strategieën richten zich op robots.txt en contentoptimalisatie. Maar voordat een AI-crawler je robots.txt kan lezen, moet hij eerst een HTTPS-handshake met je server afronden. Mislukt die handshake, dan is je content onzichtbaar voor AI, hoe goed je die ook optimaliseert.
In dit artikel lees je waarom HTTPS en SSL-certificaten de basis zijn van zichtbaarheid in AI. Je leert welke beveiligingslagen crawlers beïnvloeden, welke SSL-fouten AI-indexering blokkeren en hoe je controleert of alle grote AI-platforms bij je site kunnen.
Wat HTTPS en SSL-certificaten zijn
HTTPS is HTTP met een beveiligingslaag erbovenop. Als een bezoeker of crawler verbinding maakt met je website, versleutelt HTTPS de data tussen de browser (of crawler) en je server met SSL (Secure Sockets Layer) of de moderne opvolger TLS (Transport Layer Security).
Een SSL-certificaat is het digitale bewijs waarmee je server aantoont dat hij is wie hij zegt te zijn. Het bevat de domeinnaam van je site, de uitgever van het certificaat en een vervaldatum. Komt een crawler op je site, dan toont je server het certificaat als identiteitsbewijs. De crawler controleert dat certificaat voordat hij content ophaalt.
Bezoekers merken hier in moderne browsers niets van, ze zien alleen een slotje. Maar als je certificaat ontbreekt, verlopen is, zelf is ondertekend of niet bij je domein past, mislukt de handshake. En dan zijn crawlers volledig buitengesloten.
Waarom AI-crawlers HTTPS nodig hebben om bij je content te komen
AI-crawlers doen HTTP-verzoeken, net als Googlebot. Ze volgen links, halen pagina's op en lezen de HTML. Maar in tegenstelling tot sommige oudere crawlers eisen alle moderne AI-platforms (de crawler van ChatGPT, van Perplexity en van Claude) een geldige HTTPS-verbinding voordat ze robots.txt lezen of ook maar één pagina ophalen.
Dit gebeurt er als een AI-crawler je site bezoekt. Eerst probeert hij met TLS een beveiligde verbinding met je domein op te zetten. Je server stuurt een SSL-certificaat terug. De crawler controleert of het certificaat echt is en bij je domein hoort. Alleen als die controle slaagt, vraagt de crawler je content op.
Is je SSL-certificaat ongeldig of verlopen, dan stopt de crawler bij stap twee en haalt hij nooit je content op. Voor de crawler is je site onbereikbaar. Hij probeert het morgen niet opnieuw. Hij markeert je domein als ontoegankelijk en gaat verder.
Dat is anders dan bij klassieke SEO, waar Google mislukte verzoeken opnieuw probeert en content uiteindelijk toch indexeert, ook na tijdelijke verbindingsproblemen. AI-crawlers zijn strenger bij de eerste toegangspoging. Een mislukte SSL-handshake bij het eerste verzoek betekent vaak dat er helemaal niets wordt geïndexeerd.
Hoe SSL-problemen AI-crawlers blokkeren
Niet elk SSL-probleem is zichtbaar. Een certificaat kan technisch geïnstalleerd zijn en toch niet valideren voor bepaalde crawlers. Dit zijn de meest voorkomende oorzaken:
Verlopen certificaten
Een certificaat waarvan de vervaldatum is verstreken, is ongeldig. Crawlers wijzen het meteen af. Sommige sites gebruiken certificaten met een zeer korte looptijd (30 tot 90 dagen) en verlengen ze automatisch. Gaat die automatisering stuk, dan verloopt het certificaat zonder dat iemand het merkt en verliezen crawlers direct de toegang.
Zelfondertekende certificaten
Een zelfondertekend certificaat is ondertekend door je eigen server in plaats van door een vertrouwde certificeringsinstantie. Browsers en crawlers vertrouwen zulke certificaten niet, want iedereen kan er een maken en zich voor iemand anders uitgeven. Voor ontwikkeling of interne netwerken is dat prima, maar het blokkeert alle openbare crawlertoegang.
Domein past niet bij het certificaat
Is je certificaat uitgegeven voor example.com, maar open je de site via www.example.com (of andersom), dan komt het domein in het certificaat niet overeen met het opgevraagde domein. Crawlers wijzen het af. Zelfs een klein verschil telt: een SSL-certificaat voor sub.example.com valideert niet als de crawler content.example.com opvraagt.
Problemen met de certificaatketen
Een SSL-certificaat hoort bij een keten die terugleidt naar een hoofdinstantie. Stuurt je server niet de complete keten mee (je hebt wel het eindcertificaat, maar niet de tussencertificaten), dan kunnen crawlers je identiteit mogelijk niet controleren. Sommige crawlers zijn soepel en zoeken het ontbrekende tussencertificaat online op. Andere weigeren de verbinding meteen.
Problemen met de SNI-configuratie
Met Server Name Indication (SNI) kan één server meerdere HTTPS-sites hosten, doordat hij weet welke site de bezoeker opvraagt. Is je server niet voor SNI ingesteld of staat SNI verkeerd, dan kan een crawler die jouw domein opvraagt het certificaat van een ander domein krijgen. Dan mislukt de validatie.
Beveiligingsheaders die de toegang van AI-crawlers beïnvloeden
Als de SSL-handshake slaagt, kan je server beveiligingsheaders sturen die bepalen hoe crawlers met je content omgaan. Deze headers blokkeren crawlers niet helemaal, maar ze beïnvloeden wel hoe crawlers je pagina's verwerken.
Strict-Transport-Security (HSTS)
HSTS zegt tegen crawlers dat ze je site altijd via HTTPS moeten openen en nooit via HTTP. Dat is goed voor de veiligheid en blokkeert crawlers niet. Maar als je HSTS met een erg lange looptijd verkeerd instelt en later overstapt op een ongeldig certificaat, moeten crawlers HTTPS gebruiken terwijl ze de handshake niet kunnen afronden. Zorg dat je HSTS-beleid samengaat met geldige certificaten voor de hele looptijd die je opgeeft.
X-Frame-Options en X-Content-Type-Options
Deze headers vertellen crawlers hoe ze met je content om moeten gaan. Ze houden crawlers niet tegen. Maar ze kunnen wel invloed hebben op hoe crawlers informatie uit je pagina's lezen en halen.
Content-Security-Policy
CSP-headers kunnen beperken welke bronnen crawlers vanaf je pagina's mogen ophalen. Heb je een erg strenge CSP die externe bronnen blokkeert, dan kunnen crawlers mogelijk geen afbeeldingen, stylesheets of scripts ophalen die op je pagina's staan. De HTML zelf wordt niet geblokkeerd, maar crawlers halen er minder signalen uit.
Veelvoorkomende SSL-fouten en wat ze betekenen voor AI-indexering
Als een AI-crawler je SSL-certificaat niet kan controleren, legt hij een fout vast. Als je die fouten begrijpt, kun je sneller vinden wat er kapot is. Dit zijn de meest voorkomende:
Certificaat verlopen
Je SSL-certificaat is over de vervaldatum. Crawlers zien de vervaldatum in het certificaat en wijzen het af. Dit is het makkelijkst te vinden en te herstellen. Check de vervaldatum van je certificaat en verleng het voordat het verloopt.
Certificaat komt niet overeen met het domein
De domeinnaam in het certificaat komt niet overeen met het domein dat de crawler opvraagt. Dat gebeurt vaak als je naar een nieuw domein verhuist en je SSL-certificaat vergeet bij te werken, of als je een subdomein toevoegt terwijl je certificaat alleen het hoofddomein dekt.
Certificeringsinstantie niet te verifiëren
De crawler kan je certificaat niet herleiden tot een vertrouwde hoofdinstantie. Dat gebeurt als het certificaat is uitgegeven door een niet-vertrouwde instantie of als je server de complete keten van tussencertificaten niet meestuurt.
Certificaat ingetrokken
Je certificeringsinstantie heeft het certificaat ingetrokken door een beveiligingsincident of een verkeerde configuratie. Crawlers controleren de intrekkingsstatus en weigeren toegang. Dit komt zelden voor, maar als het gebeurt is het ernstig.
Zo controleer je je HTTPS-setup voor AI-crawlers
De beste manier om te weten of AI-crawlers bij je site kunnen, is het zelf testen. Deze stappen horen bij een grotere technische GEO-audit. Zo check je specifiek op HTTPS-problemen:
Gebruik online SSL-checkers
Gratis SSL-testtools doen een complete analyse van je SSL-setup. Ze controleren of het certificaat geldig is, of de keten compleet is, welke TLS-versies worden ondersteund en welke bekende kwetsbaarheden er zijn. Test je domein met zo'n tool en herstel alle fouten die gemeld worden.
Test met curl of wget
Voer in een terminal curl -I https://jouwdomein.nl uit, of wget met de spider-optie op https://jouwdomein.nl. Deze tools doen wat een crawler doet. Geven ze een SSL-fout, dan krijgen crawlers die ook. De foutmelding vertelt je precies wat er mis is.
Controleer met OpenSSL
OpenSSL is het standaardhulpmiddel voor SSL-diagnose. Voer openssl s_client -connect jouwdomein.nl:443 uit om precies te zien welk certificaat je server toont en of het goed valideert.
Controleer of de certificaatketen compleet is
Gebruik tools zoals testssl.sh om te zien of je server de complete certificaatketen meestuurt. Ontbreken er tussencertificaten, voeg ze dan toe aan de serverconfiguratie.
Test op verschillende AI-platforms
Sommige AI-crawlers zijn strenger dan andere bij SSL-validatie. Test je site door in ChatGPT, Perplexity, Claude en Google Gemini een antwoord te vragen dat je content bevat. Kan een platform niet bij je site, kijk dan in de documentatie van die crawler welke SSL-eisen er gelden. Elk AI-platform gedraagt zich anders, daarover lees je meer in onze gidsen over optimaliseren voor ChatGPT Search en optimaliseren voor Perplexity.
Zo regelt WEMASY SSL en beveiliging voor AI-crawlbaarheid
Elke website die je met WEMASY bouwt, krijgt automatisch HTTPS met een geldig SSL-certificaat van een vertrouwde instantie. Je certificaat wordt automatisch aangemaakt, verlengd en bewaakt. Je hoeft geen vervaldata of verlengcycli bij te houden.
WEMASY stelt je certificaat ook zo in dat het zowel je hoofddomein als het www-subdomein dekt, zodat domeinfouten niet voorkomen. De complete certificaatketen wordt automatisch meegestuurd, zodat crawlers je identiteit zonder fouten kunnen controleren.
Je HSTS-headers hebben een redelijke looptijd. Zo blijft je beveiliging op orde zonder dat je vastloopt als je het certificaat moet wijzigen. Lees meer over de beveiligings- en prestatiefuncties in elk WEMASY-abonnement.
Veelgestelde vragen
Ondersteunen AI-crawlers zowel HTTPS als HTTP?
Nee. Alle grote AI-crawlers (GPTBot, ClaudeBot, PerplexityBot) eisen uitsluitend HTTPS. Ze ondersteunen geen HTTP. Een site op HTTP is voor AI-crawlers helemaal niet bereikbaar. Draait je site nog op HTTP, stap dan direct over op HTTPS. Zonder HTTPS krijgen AI-crawlers geen toegang. Met de websitebouwer van WEMASY stel je dit direct op je website in.
Werkt een wildcard-SSL-certificaat voor alle subdomeinen?
Ja. Een wildcardcertificaat (*.example.com) dekt elk subdomein onder je hoofddomein. Heb je subdomeinen zoals api.example.com of blog.example.com, dan dekt één wildcardcertificaat ze allemaal. Maar een wildcardcertificaat dekt het hoofddomein zelf (example.com) alleen als dat expliciet is opgenomen. Zorg dat je wildcardcertificaat zowel de wildcard als het hoofddomein dekt.
Volgen AI-crawlers SSL-redirects van HTTP naar HTTPS?
De meeste wel. Stuurt je server HTTP-verzoeken door naar HTTPS (een gangbare instelling), dan volgen AI-crawlers die redirect en gaan ze verder via HTTPS. Dat kost wel een extra stap en extra crawlercapaciteit. De beste aanpak is HTTP helemaal uit te zetten en alleen HTTPS-verbindingen toe te staan. Dan heb je geen redirect-overhead en komt geen crawler op een onversleutelde versie van je site terecht.
Hoe vaak moet ik mijn SSL-certificaat verlengen?
Moderne SSL-certificaten gelden meestal een jaar. De meeste hostingpartijen en platforms (waaronder WEMASY) verlengen automatisch. Je hoeft niet zelf te verlengen, tenzij je een erg oude hostingsetup hebt. Zet voor de zekerheid een herinnering in je agenda voor 30 dagen voor de vervaldatum, maar met automatisch verlengen zou een verlopen certificaat niet moeten voorkomen.
Schaadt een slecht SSL-certificaat mijn SEO-positie?
Ja. Google eist HTTPS en ziet sites zonder geldige HTTPS als van lagere kwaliteit. Een verlopen of ongeldig SSL-certificaat wordt behandeld als een HTTP-site en dat kost je posities. Voor zichtbaarheid in AI is de straf nog zwaarder, omdat AI-crawlers verlopen certificaten helemaal niet kunnen openen. Ze indexeren je content niet, hoe goed die ook is geoptimaliseerd.
Kan ik een zelfondertekend certificaat gebruiken voor een live website?
Nee. Zelfondertekende certificaten worden door alle grote crawlers en browsers geweigerd. Ze zijn alleen geschikt voor ontwikkeling, tests of interne netwerken waar je alle clients zelf beheert. Gebruik voor elke openbare website een certificaat van een vertrouwde certificeringsinstantie (CA). De meeste CA's bieden voor basisgebruik gratis of zeer goedkope certificaten aan.