In de tweede aflevering van Google’s serie How Search Works neemt Google-engineer Gary Illyes je mee achter de schermen van hoe Google bepaalt welke webpagina’s opgenomen worden in zijn enorme zoekindex — het gigantische, dynamische geheugen van het internet.
Crawling is pas het begin
Voordat een pagina überhaupt geanalyseerd kan worden, moet Google hem eerst gevonden hebben. Zoals in voorgaande afleveringen is uitgelegd, stuurt Googlebot — de webcrawler van Google — bots de digitale wereld in om nieuwe of bijgewerkte URL’s te ontdekken.
Maar wat gebeurt er nadat Google een pagina heeft ontdekt en opgehaald? Dat is waar indexing om draait.
Wat betekent ‘indexeren’?
Indexeren is meer dan simpelweg besluiten of een pagina in Google zichtbaar wordt — het omvat een reeks stappen waarin Google pagina-inhoud diepgaand verwerkt.
In deze fase kijkt Google naar onder meer:
- De tekst op de pagina
- HTML-tags en attributen
- Afbeeldingen en video’s
- Sleutelwoorden en contextuele signalen
Door al deze factoren te analyseren, kan Google bepalen of een pagina “indexwaardig” is en welke zoekopdrachten potentieel relevant zijn voor die pagina — of andersom.
Hoe Google de inhoud begrijpt
Tijdens het indexeren breekt Google een pagina letterlijk uit elkaar om te begrijpen waar het over gaat. Denk daarbij aan het ‘tokeniseren’ van tekst — een manier waarop woorden en zinnen worden omgezet in kleinere betekenisdragers die machines kunnen interpreteren.
Daarnaast identificeert het systeem welke delen van een pagina de belangrijkste inhoud bevatten. Dit kan tekst zijn, maar ook video’s, afbeeldingen of interactieve elementen — alles dat direct bijdraagt aan het doel van de pagina.
Waarom sommige pagina’s wél en andere níet worden geïndexeerd
Niet elke webpagina die Google crawlt, komt automatisch in de zoekindex terecht. Google maakt onderscheid tussen:
- Pagina’s die opgenomen worden in de index→ Deze zijn klaar om in zoekresultaten te verschijnen.
- Pagina’s die wél zijn gecrawld maar niet geïndexeerd→ Google heeft de inhoud gezien, maar besloot dat deze niet relevant of kwalitatief genoeg is voor de index.
Kwaliteit speelt hierbij een cruciale rol. Pagina’s met weinig inhoud, dubbele content of ‘soft 404-situaties’ — pagina’s die technisch wél bestaan maar geen echte waarde bieden — worden vaker buitengesloten.
De rol van kwaliteit in indexatie
Gary Illyes benadrukt dat Google constant signalen verzamelt over de waarde en bruikbaarheid van pagina’s. Dit gebeurt niet alleen op het moment van crawlen, maar continu. Dit betekent ook dat een pagina die vandaag geïndexeerd is, morgen óók kwijt kan raken als zijn kwaliteitsscore daalt of als andere, betere content verschijnt.
Deze aanpak helpt Google om zijn index vers en relevant te houden — het is geen statische lijst, maar een levend document dat meebeweegt met de kwaliteit van het web.
Slotgedachten: Indexing als filter én kans
Indexeren is één van de kernstappen in hoe Google Search werkt — het bepaalt welke pagina’s überhaupt een kans krijgen om te tonen in zoekresultaten. Voor makers van websites en content betekent dit: niet alleen technisch goed bouwen, maar vooral kwalitatieve, nuttige en duidelijke content maken.
Want zonder indexering blijft zelfs de beste pagina onzichtbaar voor de miljoenen mensen die dagelijks via Google zoeken.
