Een blik achter de schermen van hyperscale infrastructuur
Terwijl AI-tools sneller evolueren dan ooit en softwarebedrijven massaal inzetten op autonome agents, blijft één fundamentele vraag centraal staan: kan de infrastructuur van morgen die explosieve groei wel aan? In een uitgebreid gesprek met Simon Eskildsen onderzoekt Sualeh Asif precies dat spanningsveld tussen schaalbaarheid, databases en de toekomst van software-engineering.
De podcastaflevering leest bijna als een geschiedenisboek van moderne infrastructuur. Van de chaotische flash sales bij Shopify tot de opkomst van AI-programmeertools en de heruitvinding van databases: Eskildsen schetst hoe technologiebedrijven telkens opnieuw moeten leren omgaan met groei die sneller komt dan verwacht.
De nachtmerrie van elke webwinkel: Flash sales op Shopify
In de beginjaren van Shopify draaide alles rond één grote uitdaging: overleven tijdens extreme piekmomenten. Flash sales konden het platform plotseling overspoelen met miljoenen aanvragen tegelijk. Eén populaire productdrop of marketingcampagne was voldoende om systemen onder zware druk te zetten.
Eskildsen beschrijft hoe infrastructuurteams voortdurend moesten improviseren om winkels online te houden. Niet alleen databases, maar volledige architecturen moesten opnieuw worden ontworpen om piekbelasting te absorberen zonder dat klanten massaal foutmeldingen kregen.
Volgens hem werd schaalbaarheid bij Shopify geen theoretisch concept, maar een dagelijkse realiteit. Problemen oplossen betekende niet “later optimaliseren”, maar letterlijk het internet overeind houden tijdens verkooppieken.
Waarom infrastructuurteams in de jaren 2010 zo bijzonder waren
Een opvallend onderdeel van het gesprek gaat over de cultuur van infrastructuurteams in de jaren 2010. Ingenieurs van bedrijven zoals Shopify, Facebook, Google en andere grote technologiebedrijven wisselden voortdurend ideeën uit.
Die samenwerking creëerde volgens Eskildsen een unieke periode waarin best practices razendsnel evolueerden. Open source-projecten, blogposts en technische discussies zorgden ervoor dat infrastructuurkennis wereldwijd gedeeld werd.
Hij verwijst onder meer naar projecten zoals Logrus en naar de “on-call cultuur”, waarbij engineers rechtstreeks verantwoordelijk bleven voor systemen die zij zelf hadden gebouwd. Die aanpak zorgde voor betere software, omdat ontwikkelaars onmiddellijk geconfronteerd werden met de gevolgen van hun ontwerpkeuzes.
Napkin Math: rekenen als superkracht voor engineers
Een van de meest bekende bijdragen van Eskildsen aan de engineeringwereld is zijn blogconcept “Napkin Math”. Het idee is eenvoudig maar krachtig: ingenieurs moeten snel grove berekeningen kunnen maken om schaalproblemen te begrijpen.
Hoeveel servers zijn nodig? Hoeveel requests verwerkt een systeem per seconde? Wat gebeurt er wanneer het verkeer plots vertienvoudigt?
Volgens Eskildsen worden veel technische beslissingen vandaag genomen zonder fundamenteel inzicht in schaal. Terwijl AI steeds meer code genereert, wordt het vermogen om systemen écht te begrijpen juist belangrijker.
Hij benadrukt dat goede engineers niet alleen code schrijven, maar voortdurend mentale modellen bouwen over performantie, netwerkverkeer en bottlenecks.
Waarom elke vijftien jaar een nieuwe databasegigant opstaat
Een van de meest fascinerende inzichten uit het gesprek draait rond databases. Eskildsen stelt dat ongeveer elke vijftien jaar een nieuwe generatie databasebedrijven ontstaat die de markt opnieuw definieert.
Dat gebeurde met relationele databases, later met NoSQL-systemen en daarna met cloud-native architecturen. Vandaag staat volgens hem opnieuw een grote verschuiving voor de deur.
AI-systemen produceren namelijk gigantische hoeveelheden vectoren, embeddings en semantische data. Traditionele databases zijn daar niet altijd optimaal voor ontworpen. Daardoor ontstaat ruimte voor nieuwe spelers zoals turbopuffer.
Eskildsen ziet databases niet langer als passieve opslagplaatsen, maar als actieve intelligentielagen waarop AI-systemen rechtstreeks bouwen.
AI-agents zijn indrukwekkend… maar nog verre van perfect
Hoewel AI-codingtools enorme vooruitgang boeken, blijft Eskildsen opvallend genuanceerd over hun beperkingen. Volgens hem falen agents nog vaak zodra problemen complex worden of meerdere stappen vereisen.
AI kan uitstekend kleine stukken code genereren, maar raakt sneller de weg kwijt wanneer systemen diepgaande context vereisen. Vooral debugging, infrastructuurproblemen en onverwachte edge cases blijven moeilijk.
Dat betekent volgens hem niet dat AI-engineers vervangt. Integendeel: de waarde van sterke engineers stijgt juist omdat zij complexe systemen kunnen overzien waar agents nog tekortschieten.
Wat is een “P99 engineer”?
Een van de meest besproken momenten uit het interview draait rond de term “P99 engineer”. Daarmee verwijst Eskildsen naar uitzonderlijke engineers die problemen oplossen die bijna niemand anders aankan.
Niet per se de snelste programmeurs, maar mensen die onder extreme omstandigheden kalm blijven, systemen begrijpen op fundamenteel niveau en ingewikkelde problemen kunnen abstraheren.
In een tijdperk waarin AI steeds meer standaardwerk automatiseert, worden precies die eigenschappen belangrijker. Volgens Eskildsen zal de toekomst niet draaien rond wie de meeste code schrijft, maar rond wie de meest complexe systemen begrijpt.
De toekomst van databases wordt intelligent
Aan het einde van het gesprek verschuift de focus naar de lange termijn. Eskildsen gelooft dat databases fundamenteel zullen veranderen onder invloed van AI.
Waar databases vroeger vooral gestructureerde opslag waren, zullen toekomstige systemen veel autonomer worden. Ze zullen context begrijpen, semantisch zoeken ondersteunen en rechtstreeks samenwerken met AI-agents.
De grens tussen “database”, “zoekmachine” en “AI-geheugen” begint daardoor langzaam te vervagen.
Volgens Eskildsen staan ontwikkelaars nog maar aan het begin van die evolutie. De echte infrastructuurrevolutie van AI moet misschien nog beginnen.
