NVIDIA staat bekend als de motor achter de wereldwijde AI-revolutie, maar hoe gebruikt de techgigant zijn eigen technologieën eigenlijk achter de schermen? In de tweede aflevering van AI Factory Insider geeft gastheer Kaushik Shirhatti (VP AI Factory bij NVIDIA) samen met experts Nic Borensztein en Jon Fernandez een unieke kijk in de keuken. Het resultaat? Een fascinerend inkijkje in een AI-infrastructuur die de grenzen van het mogelijke verlegt.
De blauwdruk voor succes: Enterprise validated designs
Het bouwen van een robuuste AI-omgeving is geen kwestie van willekeurige onderdelen bij elkaar zoeken. Tijdens de uitzending leggen Borensztein en Fernandez uit hoe belangrijk zogeheten Enterprise Validated Designs (EVD's) zijn. NVIDIA test en valideert de volledige software-stack in nauwe samenwerking met partners. Dit zorgt ervoor dat bedrijven een beproefde en veilige architectuur kunnen uitrollen, zonder vanaf nul het wiel te hoeven uitvinden.
On-premise AI: De slimme keuze voor beveiliging en rendement
Waarom kiezen steeds meer grote ondernemingen — én NVIDIA zelf — voor een eigen, lokale AI-infrastructuur (on-premise) in plaats van de cloud? De experts wijzen op drie cruciale pijlers: veiligheid, compliance en 'tokenomics'.
Door AI-modellen lokaal te draaien, behouden organisaties de volledige controle over hun gevoelige data. Daarnaast levert het op de lange termijn een aanzienlijk betere ROI (Return on Investment) op als er massaal AI-tokens worden gegenereerd.
Astronomische cijfers: 4 biljoen tokens per maand
Dat de interne AI-fabriek van NVIDIA geen kleinschalig experiment is, blijkt wel uit de duizelingwekkende cijfers die de heren delen. De IT-infrastructuur van de chipgigant verwerkt op dit moment:
- 4 biljoen tokens per maand
- 200 miljoen inference-verzoeken per dag
Deze indrukwekkende rekenkracht wordt ingezet over alle lagen van het bedrijf. Een opvallend voorbeeld is Chip NeMo: een speciaal AI-model dat NVIDIA-engineers ondersteunt bij het ontwerpen van de volgende generatie computerchips. Het illustreert een nieuwe werkelijkheid binnen het bedrijf: door de opkomst van slimme AI-agents verandert vrijwel elke medewerker in een software-ontwikkelaar.
De toekomst: Veilige ruimtes en 'Confidential Computing'
Om al deze AI-agents veilig te laten werken binnen de organisatie, maakt NVIDIA gebruik van geavanceerde secure agent workspaces en de zogenaamde perceive-reason-act cyclus. Hiermee kunnen agents complexe taken uitvoeren zonder de bedrijfsbeveiliging in gevaar te brengen.
Kijkend naar de toekomst zet NVIDIA zwaar in op confidential computing voor lokale AI-modellen. Dit stelt bedrijven in staat om zelfs de meest geavanceerde 'frontier models' te draaien met de garantie dat de data op geen enkel moment kan uitlekken.
💡 Handige bronnen & links
Voor wie dieper in de materie wil duiken, heeft NVIDIA de volgende documentatie vrijgegeven:
