Hoe zoekmachines lezen wat jij liever verborgen houdt
Wie een website beheert, weet dat zichtbaarheid in zoekmachines goud waard is. Maar wat als je niet alles zichtbaar wilt maken? In een recente Lightning Talk van Martin Splitt op het YouTube-kanaal van Google Search Central duikt hij in een vaak verkeerd begrepen bestand: robots.txt.
Hij legt helder uit wat het doet, wat het níét doet en hoe het samenwerkt met andere technieken zoals meta-tags en HTTP-headers. Voor wie serieus bezig is met SEO in het AI-tijdperk – en zeker als je, zoals jij, een kennisblog uitbouwt – is dit verplichte kost.
Wat is robots.txt eigenlijk?
Een robots.txt-bestand is een eenvoudig tekstbestand dat in de hoofdmap van je website staat (bijvoorbeeld: jouwsite.be/robots.txt).
Het geeft instructies aan zoekmachinebots – zoals Googlebot – over welke delen van je website ze wel of niet mogen crawlen.
Belangrijk:👉 Robots.txt bepaalt toegang tot crawling, niet automatisch indexering.
Dat onderscheid is cruciaal.
Waarom heb je robots.txt nodig?
Volgens Splitt zijn er verschillende redenen om robots.txt te gebruiken:
- 🔒 Om gevoelige of irrelevante mappen niet te laten crawlen
- ⚡ Om crawlbudget te optimaliseren bij grote websites
- 🧭 Om zoekmachines te sturen naar belangrijke secties
Voor grote contentplatforms of AI-gedreven sites met dynamische pagina’s kan dit het verschil maken tussen efficiënte indexering en crawl-chaos.
Wat is de robots meta tag?
Hier wordt het technisch interessant.
De robots meta tag plaats je in de <head> van een HTML-pagina. Daarmee geef je instructies zoals:
- noindex → Niet opnemen in zoekresultaten
- nofollow → Links op deze pagina niet volgen
Daarnaast bestaat er ook de X-Robots-Tag via HTTP-headers, handig voor niet-HTML bestanden zoals PDF’s.
Het verschil met robots.txt?
| Robots.txt | Meta noindex |
| Blokkeert crawling | Staat crawling toe |
| Kan indexering niet garanderen | Verhindert indexering |
En dat brengt ons bij een veelgemaakte fout.
Noindex vs. Disallow: Wanneer gebruik je wat?
Splitt benadrukt een belangrijk punt:
- Gebruik disallow in robots.txt als je crawling wilt voorkomen.
- Gebruik noindex als je wilt voorkomen dat een pagina in zoekresultaten verschijnt.
⚠️ Maar let op: als je een pagina blokkeert met robots.txt én je wil ze noindexen, dan kan Google de noindex-tag niet lezen – want de bot mag de pagina niet crawlen.
Dat leidt tot verwarring bij veel site-eigenaars.
Waarom crawlt Google soms tóch geblokkeerde pagina’s?
Dat lijkt tegenstrijdig, maar er zijn verklaringen:
- De URL wordt ontdekt via externe links
- De pagina stond vroeger open
- De robots.txt werd recent aangepast
Google kan dan nog steeds de URL tonen in zoekresultaten, maar zonder inhoud.
Dit is een nuance die in het AI-SEO-tijdperk belangrijker wordt. Want LLM’s en AI-systemen werken steeds vaker met wat publiek crawlbaar is.
Robots.txt in een AI-gedreven zoekwereld
Waar traditionele SEO draaide om indexering, draait moderne zichtbaarheid ook om AI-systemen die content analyseren voor samenvattingen, antwoorden en knowledge panels.
Een verkeerd geconfigureerde robots.txt kan dus:
- Je content onbedoeld onzichtbaar maken
- AI-crawlers blokkeren
- Of net gevoelige informatie lekken
Voor contentmakers die werken aan autoriteit en topical depth – zoals jij met je AI-blog – is strategische controle over crawling geen luxe meer, maar noodzaak.
Conclusie: Controle begint bij begrip
Robots.txt is geen magisch schild, maar een richtlijn voor crawlers. Het werkt samen met meta-tags en HTTP-headers in een subtiel samenspel.
Wie begrijpt hoe deze lagen samenwerken, beheert niet alleen indexering – maar controleert zijn digitale zichtbaarheid.
En in 2026, waar AI en zoekmachines steeds meer verweven raken, is dat een strategisch voordeel.
