Tokens begrijpen: hoe AI-modellen je tekst werkelijk 'lezen'
17 september 2026
De prijsstelling van elk groot taalmodel, het contextvenster en zelfs een deel van het vreemde gedrag rond spelling of rekenen zijn terug te voeren op één concept: de token. Tokens zijn geen woorden, geen tekens en niet helemaal lettergrepen — het is een modelspecifiek compressieschema, en begrijpen hoe ze werken verklaart verrassend veel AI-gedrag dat anders willekeurig lijkt.
Wat is een token precies, als het geen woord is?
Een token is een stukje tekst — soms een heel gangbaar woord, soms een fragment van een woord, soms één enkel teken — bepaald door een tokenizer die is getraind om de meest voorkomende stukjes tekst in zijn trainingsdata zo efficiënt mogelijk weer te geven. Gangbare Engelse woorden zoals 'the' of 'cat' zijn meestal één token; minder gangbare of samengestelde woorden worden vaak in twee of drie stukken gesplitst (bijv. 'tokenization' kan 'token' + 'ization' worden). Als ruwe vuistregel voor het Engels wordt één token doorgaans geschat op ongeveer 4 tekens of ruwweg ¾ van een woord, maar dit verschilt per model en is altijd slechts een benadering.
Waarom worden de prijzen van AI-API's per token opgegeven in plaats van per woord of per verzoek?
Omdat tokens, en niet woorden, letterlijk de eenheid zijn die het model intern verwerkt — elke token die erin gaat en eruit komt verbruikt rekenkracht, dus het is de meest directe en eerlijke eenheid om op af te rekenen. Prijzen per token stellen aanbieders ook in staat om invoer en uitvoer verschillend te belasten (genereren is doorgaans rekenintensiever dan lezen), en daarom vermelden de meeste AI-API-prijslijsten een apart tarief voor invoertokens en uitvoertokens in plaats van één vaste prijs per verzoek.
Waarom kosten sommige talen per zin merkbaar meer dan het Engels?
Omdat de meeste grote tokenizers zijn getraind op datasets die worden gedomineerd door Engelse tekst, is de kans onevenredig groot dat Engelse woorden worden afgebeeld op enkele, efficiënte tokens. Talen met een ander schrift of een andere morfologie — veel CJK-talen, of talen met veel samengestelde woorden — tokeniseren vaak minder efficiënt en hebben soms twee, drie of meer tokens nodig om weer te geven wat in het Engels één token aan betekenis zou zijn. Het praktische gevolg: dezelfde zin, vertaald, kan in de ene taal aanzienlijk meer tokens (en dus API-kosten) kosten dan in de andere, puur als bijproduct van hoe de tokenizer is getraind en niet vanwege de werkelijke complexiteit van de inhoud.
Wat beperkt het 'contextvenster' van een model werkelijk?
Het contextvenster is het maximale aantal tokens dat een model tegelijk in beschouwing kan nemen — je invoer (systeemprompt, gespreksgeschiedenis, eventueel aangeleverde documenten) plus het antwoord dat het genereert, bij elkaar opgeteld. Het is geen limiet op 'hoeveel je kunt vragen' op zichzelf; het is een gedeeld budget voor alles wat het model moet lezen en alles wat het produceert in die ene uitwisseling. Een lange gespreksgeschiedenis of een groot geplakt document kan het grootste deel van het contextvenster opslokken voordat het model één woord aan antwoord heeft gegenereerd, en daarom verliezen zeer lange gesprekken soms details van vroeg in het gesprek uit het oog — ze zijn simpelweg uit het tokenbudget verdwenen.