Je eigen ChatGPT bouwen voor $100? Ontdek nanochat

Karpathy’s missie: AI toegankelijker maken

AI-onderzoeker en mede-oprichter van OpenAI, Andrej Karpathy, heeft recentelijk een nieuw open-source project gelanceerd: nanochat. Dit project biedt een compacte end-to-end pipeline waarmee gebruikers relatief goedkoop en in weinig tijd hun eigen ChatGPT-achtige model kunnen trainen.

Karpathy beschouwt nanochat als de natuurlijke opvolger van zijn eerdere project nanoGPT, dat zich beperkt tot de pretraining van taalmodellen. Nanochat gaat verder: het bestrijkt de volledige cyclus, van tokenisatie tot inference en interfacing. 

Hoe nanochat werkt: snel, simpel, schaalbaar

Het hart van nanochat is een script dat Karpathy “speedrun.sh” noemt: een enkel commando waarmee de hele training + inferentie pipeline wordt gestart.

Bij de basisopzet kost een dergelijke run ongeveer 4 uur op een node met 8×H100 GPU’s, met een geschatte kostenpost van rond de US $ 100. Karpathy noemt dit de “$100-tier” van nanochat. 

Hoewel dit model niet extreem krachtig is, laat Karpathy zien dat het al gesprekjes kan voeren, teksten kan schrijven en vragen beantwoorden – zij het met de beperkingen die je van een lichtgewicht model mag verwachten.

Als je méér vermogen wilt, kan het model opgeschaald worden: door langere training (bijvoorbeeld ~42 uur) kan men een model bewerkstelligen dat simpele wiskundige en programmeertaken aankan.

Andrej Karpathy Launches ‘nanochat’, An Open-Source ChatGPT-Style Model Training Pipeline OpenAI co-founder and Eureka Labs founder Andrej Karpathy has introduced nanochat, an open-source framework that enables users to train, fine-tune, and interact with their own ChatGPT-style language model through a streamlined setup. Building upon his earlier project nanoGPT, which was limited to pretraining large language models, nanochat delivers a complete end-to-end training and inference pipeline […]

Technische kenmerken & creatieve keuzes

Enkele opmerkelijke keuzes in nanochat:

• Tokenisatie gebeurt in Rust, via een BPE-variant.
• De codebasis blijft overzichtelijk en leesbaar: ongeveer 8.000 regels code beslaan de volledige pipeline.
• De training bevat meerdere fasen: pretraining, mid-training (op gespreksdata en multiple choice datasets), supervised fine-tuning (SFT), en optioneel reinforcement learning (RL) met eenvoudige algoritmes zoals GRPO.
• Voor inference gebruikt nanochat technieken zoals KV-caching om efficiëntie te verbeteren. 
• Gebruikers kunnen communiceren met het model via een command-line interface of via een eenvoudige web UI die een ChatGPT-achtige ervaring biedt.

Karpathy omschreef het project als een “hackbar, leesbare, minimalistische” codebasis die gemakkelijk te forken is. 

Mogelijke impact & beperkingen

Nanochat lijkt vooral bedoeld als educatief en experimenteel platform: het laat ontwikkelaars, studenten en onderzoekers zien hoe een volledige LLM-pijplijn in elkaar steekt. Karpathy is van plan het als capstone-project in zijn cursus LLM101n bij Eureka Labs in te voeren.

Toch zijn er grenzen en kanttekeningen:

• De prestaties van het basismodel zijn beperkt: het is meer een proof-of-concept dan een volwaardige vervanger van grote taalmodellen.
• De kosten van $100 zijn enkel voor het huren van GPU-tijd op krachtige hardware (zoals de H100’s), niet voor “lokaal draaien”.
• Hogere prestaties vereisen langere training, grotere datasets en mogelijk meer complexe infrastructuur – en dan stijgt ook de kost en complexiteit.

Conclusie: Democratisering van AI-onderzoek

Met nanochat levert Karpathy een gedurfd statement: dat het mogelijk is om met relatief lage middelen en binnen een korte tijd een werkend LLM te bouwen dat communicatie mogelijk maakt. Het project vormt een uitnodiging om te leren, te experimenteren en het fundament van AI verder te verkennen. Voor wie nieuwsgierig is naar de fundamenten van taalmodellen, biedt nanochat een toegankelijke toegangsweg.

GitHub - karpathy/nanochat: The best ChatGPT that $100 can buy. The best ChatGPT that $100 can buy. Contribute to karpathy/nanochat development by creating an account on GitHub.