De AI-pionier Andrej Karpathy brengt een minimalistische, gemakkelijk te doorgronden pipeline uit waarmee ontwikkelaars in een weekend hun eigen conversatiemodel kunnen trainen.
Een krachtige stap in open-source AI
In een verrassende zet heeft Andrej Karpathy het open-source project genaamd nanochat vrijgegeven. Dit is geen dikke commerciële LLM-stack met ondoorzichtige code, maar een relatief compacte en hackbare code-basis waarmee hij bewijst dat een ChatGPT-achtig systeem niet per se miljoenen dollars hoeft te kosten.
Andrej Karpathy’s NanoChat: A ChatGPT clone for $100Andrej Karpathy’s NanoChat: A ChatGPT clone for $100 Build local ChatGPT in minutes Andrej Karpathy just dropped something wild again: NanoChat, a full-stack LLM implementation that tries to answer … |
Wat is nanochat precies?
Nanochat is een “end-to-end” pipeline — van tokenisering via pre-training, mid-training, supervised fine-tuning (SFT) en zelfs optionele reinforcement-learning (RL) tot en met inference en web-UI. Karpathy stelt dat met een enkele 8× H100-GPU-node, ongeveer vier uur training en circa 100 USD aan stroomkosten, een werkend conversatiemodel gerealiseerd kan worden.
Nanochat Lets You Build Your Own Hackable LLMFew people know LLMs (Large Language Models) as thoroughly as [Andrej Karpathy], and luckily for us all he expresses that in useful open-source projects. His latest is nanochat, which he bills as a wa... |
De kerngegevens in vogelvlucht
- De code-basis is zeer compact (ongeveer 8 000 regels code).
- Voor de “speedrun” variant: 4 uur training, één 8×H100 node, en ~100 USD kosten.
- Voor wie wil opschalen zijn er varianten rond ~300 USD (12 uur training) en ~1000 USD (~42 uur) mogelijk.
- Volgens Karpathy zelf is het model “het beste ChatGPT dat 100 USD kan kopen”.
Waarom dit belangrijk is
Het belang van nanochat ligt niet zozeer in het feit dat het commercieel direct concurreert met de grote spelers (zoals ChatGPT), maar in het democratiseren van AI-training. Het maakt het voor ontwikkelaars, onderzoekers en enthousiastelingen veel toegankelijker om inzicht te krijgen in het volledige proces — van tokenisering tot chat-UI. Bovendien zet Karpathy hiermee een statement neer: je hebt geen mega-infrastructuur of geheim algoritme nodig om een conversatiemodel op te bouwen — transparantie en eenvoud zijn mogelijk.
The $100 Code That Shook the AI Gods: Inside Karpathy’s Nanochat RevolutionThe $100 Code That Shook the AI Gods: Inside Karpathy’s Nanochat Revolution The quiet shift is happening in labs, classrooms, and scrappy startups. Let’s start with a heresy: The future of … |
Voor wie is het bedoeld?
Nanochat is vooral bedoeld voor:
- AI-enthousiastelingen die willen experimenteren met conversatiemodellen.
- Onderzoekers en studenten die een overzichtelijke en begrijpelijke code-basis zoeken.
- Ontwikkelaars die zelf een basis willen leggen voor bijvoorbeeld gespecialiseerde chatbots of experimentele toepassingen — zonder direct enorme licentiekosten of infrastructuur.
Kanttekeningen
Natuurlijk kleven er ook beperkingen aan:
- Het model dat in de $100-variant wordt getraind, is naar eigen zeggen nog vergelijkbaar met een “kleuter” of “jong kind” qua redeneer- en taalcapaciteiten.
- Wie echt krachtige prestaties wil halen (vergelijkbaar met de grotere commerciële modellen) moet opschalen in tijd, data en GPU’s — en daarmee stijgen ook de kosten (300-1000 USD en meer).
- Het vergt wel enige technische kennis (GPU-gebruik, command-line, training pipelines) om succesvol aan de slag te gaan.
|
Nanochat: A ChatGPT Clone for Just $100Andrej Karpathy, a heavyweight name in the AI world, has just launched nanochat, an open-source repository that promises to democratize the development of ChatGPT-style chatbots. |
Wat betekent dit voor de toekomst?
Met nanochat laat Karpathy zien dat het trainingsproces van LLM’s niet per se geheim hoeft te zijn. Ook legt hij de lat van toegankelijkheid veel lager. De vraag wordt: hoe snel zullen anderen dit oppakken, aanpassen en uitbreiden — bijvoorbeeld met domeinspecifieke data, eigen fine-tuning of custom UI’s? Bovendien kan dit open‐source initiatief de adoptie van AI in kleinere organisaties en projecten versnellen. Tenslotte kan het ook de druk opvoeren op gesloten systemen om transparanter of flexibeler te worden.
Met de lancering van nanochat door Andrej Karpathy valt een belangrijk stukje van de mysterie rondom LLM-training weg. Met een relatief laag budget, minimale code-basis en volledige openheid laat hij zien dat je een functioneel conversatiemodel kunt opbouwen zonder immens kapitaal. Voor wie wil leren, experimenteren of bouwen is dit een waardig startpunt. Voor wie wil concurreren met de grote commerciële modellen — dat vergt nóg meer investering. Maar als fundament is dit hoe dan ook een stap vooruit.
