XML-sitemaps behoren al bijna twee decennia tot het standaardgereedschap van webontwikkelaars en SEO-specialisten. Toch duikt regelmatig dezelfde vraag op: zijn ze nog wel nodig? Zoekmachines zijn veel slimmer geworden, crawlers ontdekken automatisch links en inmiddels struinen ook AI-bots het web af. Waarom zou een website dan nog een apart bestand nodig hebben om machines te vertellen welke pagina’s er bestaan?
Die vraag blijkt minder eenvoudig dan ze lijkt. In een aflevering van Search Off the Record gaan Google Search Relations-specialisten Martin Splitt en John Mueller dieper in op de rol van sitemaps. Hun conclusie is opvallend praktisch: sitemaps zijn misschien minder zichtbaar geworden, maar ze zijn allerminst overbodig.
Een technologie uit een ander internettijdperk
Sitemaps ontstonden in een periode waarin zoekmachines veel meer moeite hadden om websites volledig te doorzoeken. Sites werden groter, dynamischer en ingewikkelder. Niet iedere pagina was netjes via interne links bereikbaar.
Een XML-sitemap bood daarvoor een eenvoudige oplossing. Een website kon zoekmachines rechtstreeks een gestructureerde lijst bezorgen van de URL’s die belangrijk waren. Die oorspronkelijke functie bestaat vandaag nog altijd. Moderne crawlers zijn weliswaar aanzienlijk geavanceerder, maar een sitemap blijft een extra bron waarmee een zoekmachine nieuwe of gewijzigde pagina’s kan ontdekken.
Voor kleine websites lijkt dat soms overbodig. Een site met enkele tientallen goed gekoppelde pagina’s kan doorgaans gemakkelijk worden gecrawld. Maar websites blijven zelden klein. Zodra honderden, duizenden of zelfs miljoenen URL’s ontstaan, wordt een sitemap veel waardevoller.
Daarom is het volgens de besproken aanpak logisch om automatisch gegenereerde sitemaps gewoon ingeschakeld te laten.
Niet alles in een XML-sitemap is nog even belangrijk
Wie oudere sitemapdocumentatie bekijkt, komt velden tegen zoals priority, changefreq en lastmod.
De eerste twee hebben voor Google hun oorspronkelijke betekenis grotendeels verloren. Een website kan bijvoorbeeld aangeven dat een pagina dagelijks verandert of een hoge prioriteit heeft, maar dergelijke verklaringen zijn alleen nuttig wanneer een zoekmachine erop kan vertrouwen. lastmod, de datum waarop een pagina voor het laatst inhoudelijk werd gewijzigd, kan daarentegen nog wel nuttige informatie bevatten. Daar zit meteen een belangrijke voorwaarde aan vast: de datum moet kloppen.
Wanneer een CMS iedere URL elke dag automatisch voorziet van de huidige datum, ook wanneer de inhoud maandenlang niet is gewijzigd, verliest het signaal zijn waarde. Een zoekmachine kan leren dat de informatie onbetrouwbaar is en ze vervolgens grotendeels negeren.
Een correcte lastmod is dus waardevoller dan een kunstmatig recente datum.
De sitemap als signaal voor canonicalisatie
Een sitemap doet meer dan alleen URL’s opsommen. De URL’s die erin staan, kunnen ook helpen duidelijk te maken welke versies van pagina’s een website zelf als belangrijk beschouwt.
Dat speelt onder meer bij canonicalisatie. Eenzelfde pagina kan technisch via verschillende URL’s bereikbaar zijn, bijvoorbeeld door trackingparameters, filters of andere variabelen. Voor zoekmachines ontstaat dan de vraag welke URL als hoofdversie moet worden behandeld.
De sitemap kan daarbij een extra signaal vormen.
Daarom horen er bij voorkeur alleen schone, canonieke URL’s in thuis. Een sitemap gevuld met campagneparameters en alternatieve URL-varianten kan juist tegenstrijdige signalen afgeven. De praktische regel blijft eenvoudig: de sitemap moet zoveel mogelijk weerspiegelen welke URL’s de website daadwerkelijk in de zoekresultaten wil laten verschijnen.
RSS-feeds zijn een interessante aanvulling
Naast XML-sitemaps kunnen ook RSS- en Atom-feeds een rol spelen bij ontdekking. Een sitemap probeert doorgaans een breder overzicht van belangrijke URL’s te geven. Een RSS-feed richt zich vooral op recente publicaties en wijzigingen.
Voor een nieuwswebsite of blog kan dat bijzonder nuttig zijn. Nieuwe artikelen verschijnen onmiddellijk in de feed, waardoor crawlers snel kunnen zien dat er nieuwe inhoud beschikbaar is. Dat maakt RSS echter geen volledige vervanger van een XML-sitemap. Beide systemen kunnen naast elkaar bestaan en elk een andere functie vervullen: de sitemap als bredere kaart van de site en RSS als een soort stroom van recente veranderingen.
Dat principe wordt bovendien relevanter nu niet alleen traditionele zoekmachines websites bezoeken. Ook crawlers die worden ingezet rond AI-systemen kunnen dergelijke gestructureerde bronnen gebruiken om content te ontdekken.
50.000 URL’s en 50 MB per sitemap
Sitemaps kennen duidelijke technische grenzen. Een afzonderlijk sitemapbestand mag maximaal 50.000 URL’s bevatten en ongecomprimeerd niet groter zijn dan 50 MB.
Voor grote websites is dat geen probleem, omdat meerdere sitemapbestanden kunnen worden gecombineerd via een sitemap-index. Een omvangrijke webshop zou bijvoorbeeld afzonderlijke sitemaps kunnen gebruiken voor producten, categorieën, artikelen of andere delen van de website.
Het sitemapbestand hoeft bovendien niet noodzakelijk sitemap.xml te heten. De locatie kan onder meer via robots.txt worden aangegeven, zodat crawlers weten waar ze het bestand kunnen vinden.
Voor de meeste websites wordt dit werk tegenwoordig automatisch uitgevoerd door het CMS of een SEO-systeem. Daardoor is er weinig reden om een goed functionerende sitemap uit te schakelen.
Een HTML-sitemap is iets anders
Sommige websites beschikken ook over een HTML-sitemap: een gewone webpagina met links naar belangrijke onderdelen van de site.
Zo’n pagina kan nuttig zijn voor bezoekers en interne navigatie, maar vervangt geen XML-sitemap. Het verschil zit vooral in het doel. Een HTML-pagina is in de eerste plaats onderdeel van de website zelf. XML-sitemaps zijn een machineleesbaar protocol waarmee crawlers op een gestandaardiseerde manier URL-informatie kunnen verwerken.
De twee kunnen dus perfect naast elkaar bestaan.
En wat met LLMs.txt?
Met de opkomst van generatieve AI ontstond ook belangstelling voor LLMs.txt: een voorgesteld tekstbestand waarmee websites informatie op een overzichtelijke manier aan taalmodellen en AI-systemen zouden kunnen aanbieden. Het idee doet enigszins denken aan robots.txt en sitemaps, maar dan specifiek gericht op AI.
Toch betekent dat niet dat LLMs.txt de traditionele sitemap kan vervangen. XML-sitemaps zijn ingebed in de infrastructuur van zoekmachines en hebben een duidelijk omschreven technisch formaat. LLMs.txt vervult een ander doel en heeft niet dezelfde positie binnen het crawling- en indexeringsproces.
Voor organisaties die zowel traditionele zoekmachines als AI-systemen willen bedienen, ontstaat daardoor waarschijnlijk geen keuze tussen het ene of het andere. Er komt eerder een extra laag bij.
Waarom Search Console soms ‘Couldn't fetch’ meldt
Een van de frustrerendste meldingen voor websitebeheerders is ongetwijfeld “Couldn't fetch” in Google Search Console. De eerste reactie is vaak dat er iets mis moet zijn met het XML-bestand. Dat hoeft echter helemaal niet het geval te zijn.
Een sitemap kan technisch correct zijn, publiek toegankelijk zijn en toch tijdelijk niet worden opgehaald. Dat kan onder meer samenhangen met de manier waarop Google crawlcapaciteit verdeelt. Crawlers proberen websites niet onbeperkt te belasten. De belasting die een server aankan en de hoeveelheid crawling die Google op een bepaald moment zinvol acht, kunnen mee bepalen wanneer bestanden worden opgehaald.
Daardoor is “Couldn't fetch” niet automatisch hetzelfde als “de sitemap is kapot”.
Voor SEO-specialisten betekent dit dat ze verder moeten kijken dan alleen XML-validatie. Ook servergedrag, crawlactiviteit en de algemene kwaliteit en relevantie van de website kunnen een rol spelen.
Een sitemap is geen garantie op indexering
Een ander belangrijk misverstand blijft bestaan: een URL in een sitemap plaatsen betekent niet automatisch dat Google die pagina zal indexeren.
Een sitemap helpt bij discovery en levert aanvullende signalen. De zoekmachine beslist vervolgens zelf welke pagina’s worden gecrawld, gecanonicaliseerd en uiteindelijk geïndexeerd. Dat onderscheid wordt steeds belangrijker. Technische SEO kan ervoor zorgen dat content gemakkelijk vindbaar en interpreteerbaar is voor machines. Het kan zoekmachines echter niet verplichten om iedere aangeboden pagina op te nemen.
Een sitemap is daarom beter te vergelijken met een georganiseerde inhoudsopgave dan met een toegangsticket tot de zoekresultaten.
Van SEO naar een breder machineleesbaar web
De discussie rond sitemaps krijgt door generatieve AI bovendien een nieuwe dimensie. Websites worden niet langer alleen gelezen door mensen en traditionele zoekmachines. Steeds meer softwareagenten, AI-crawlers en antwoordmachines proberen informatie automatisch te ontdekken, interpreteren en verwerken.
Daardoor wordt een oude SEO-les opnieuw relevant: hoe duidelijker een website haar structuur communiceert, hoe gemakkelijker machines ermee kunnen werken.
XML-sitemaps, RSS-feeds, canonical-tags, robots.txt en mogelijk nieuwe standaarden voor AI hoeven daarom niet als concurrerende technologieën te worden gezien. Samen vormen ze verschillende signalen waarmee een website haar inhoud begrijpelijk maakt voor machines.
De oude sitemap blijkt verrassend toekomstbestendig
Na bijna twintig jaar lijkt de XML-sitemap misschien een overblijfsel uit de beginjaren van SEO. In werkelijkheid is het juist de eenvoud van het systeem die het zo duurzaam maakt.
Een sitemap kost bij moderne websites meestal nauwelijks onderhoud, kan automatisch worden gegenereerd en geeft crawlers een extra manier om belangrijke URL’s te ontdekken.
De praktische boodschap voor ontwikkelaars en SEO-specialisten is dan ook weinig spectaculair, maar bijzonder bruikbaar: laat de sitemap gewoon staan, zorg dat de URL’s canoniek zijn en gebruik alleen betrouwbare wijzigingsdatums.
Want terwijl zoekmachines, AI-agents en crawlers steeds slimmer worden, blijft één principe verrassend constant: machines presteren beter wanneer een website haar structuur helder en consequent communiceert.
