.svg)
Kronehoefstraat 85
5612 HL Eindhoven
BTW NL863902509B01
Wat is het?
Een token is de kleinste eenheid tekst die een AI-model verwerkt. In de meeste Engelse modellen is een token gemiddeld ongeveer vier tekens of driekwart woord; in Nederlands zijn tokens iets korter door de langere woorden. Een zin van tien woorden bestaat doorgaans uit dertien tot vijftien tokens.
Tokens zijn de basiseenheid van alles wat een taalmodel doet: elk woord dat je invoert wordt opgesplitst in tokens, elk woord dat het model uitvoert is een token. De limiet van het contextvenster, de prijs van API-gebruik en de snelheid van een model worden allemaal uitgedrukt in tokens.
Waarom het ertoe doet voor het MKB
Voor een MKB-eigenaar die AI-tools inzet, bepalen tokens twee praktische zaken: wat er in een gesprek past en wat het kost.
- Het contextvenster van een model, het maximale geheugen per sessie, is begrensd in tokens. Lange documenten, uitgebreide e-mailthreads of grote datasets moeten worden opgesplitst of samengevat om binnen die limiet te blijven.
- API-gebruik voor AI-diensten wordt gefactureerd per token: hoe meer tekst in en uit, hoe hoger de kosten. Beknopte, goed gerichte instructies zijn dus ook economisch slim.
- Snelheid en capaciteitsplanning hangen af van het tokenvolume: een agent die dagelijks duizenden facturen verwerkt, genereert een groot tokenvolume dat in de architectuur moet worden meegenomen.
Je hoeft tokens niet te tellen om goed met AI te werken, maar het concept helpt bij het begrijpen waarom een model een lang document niet in een keer kan verwerken of waarom een bepaalde taak meer kost dan verwacht.
Hoe het werkt
Taalmodellen werken niet met letters of woorden maar met tokens, die worden bepaald door een tokenizer: een algoritme dat tekst opsplitst in stukken die het model herkent op basis van zijn trainingsdata.
- De tekst die je invoert wordt door de tokenizer opgesplitst in tokens, elk een stuk dat het model als een eenheid herkent.
- Elk token krijgt een numerieke ID die het model gebruikt bij het verwerken van de invoer.
- Het model genereert de output token voor token, waarbij elke nieuw gegenereerde token de volgende beinvloedt.
- De gegenereerde token-IDs worden door de tokenizer terugvertaald naar leesbare tekst.
Omdat de tokenizer per model verschilt, kan hetzelfde stuk tekst in GPT-4 een ander aantal tokens bevatten dan in Claude of Gemini. Dat is relevant als je budgetten of limieten vergelijkt tussen verschillende AI-diensten.
Voorbeeld uit de praktijk
Stel, een administratiekantoor verwerkt maandelijks tientallen inkoopfacturen via een AI-agent. De agent leest elke factuur, extraheert de leverancier, het bedrag en de vervaldatum, en verwerkt die gegevens in het boekhoudpakket. Elke factuur van een A4 omvat ruwweg 400 tot 600 tokens. Bij vijftig facturen per dag verwerkt de agent dagelijks tienduizenden tokens. Dat volume is nuttig om te weten bij het kiezen van een AI-dienst en het inschatten van de maandelijkse kosten.
Vergelijking en misvattingen
Een token is niet hetzelfde als een woord, maar dat is het snelste mentale model voor dagelijks gebruik. Nauwkeuriger is het om te zeggen dat een woord gemiddeld anderhalf token beslaat in Nederlandse tekst. Tokens zijn de maateenheid voor AI-modellen; woorden zijn de maateenheid voor mensen.
.svg){kind=icon}