Gratis AI-tokenteller
Plak tekst om te schatten hoeveel tokens die kan gebruiken voordat je hem naar een AI-model of API stuurt.
Volledig in je browser geteld met een GPT-compatibele tokenizer. Andere modelfamilies kunnen iets anders tokeniseren.
De tokenteller is belangrijk omdat de prijzen van AI-API's en de limieten van contextvensters worden gemeten in tokens, niet in tekens of woorden — en verschillende modellen tokeniseren dezelfde tekst anders.
Wat is een token, en hoe verschilt het eigenlijk van een woord?
Een token is een stukje tekst — vaak een heel woord, een deel van een woord of een leesteken — dat een AI-model als één eenheid verwerkt; de meeste modellen worden geprijsd en begrensd op basis van het aantal tokens, niet het aantal woorden of tekens. Gemiddeld komt Engelse tekst uit op ongeveer 0,75 woord per token, al varieert dat: veelvoorkomende korte woorden zijn vaak één token, terwijl langere of minder gangbare woorden in twee of meer stukken kunnen worden gesplitst, en dat is precies waarom tokenizers tekst opdelen in deze subwoordstukken in plaats van hele woorden te tellen, zoals de naam van deze tool misschien suggereert.
Hoe werkt deze teller eigenlijk, en is hij nauwkeurig voor elk AI-model?
Plak je tekst in het vak en de telling wordt direct bijgewerkt met een GPT-compatibele tokenizer, die volledig in je browser draait. Verschillende modelfamilies — GPT, Claude, Gemini en andere — gebruiken elk hun eigen tokenizer, dus dezelfde tekst kan een iets ander aantal tokens opleveren afhankelijk van welk model je daadwerkelijk gebruikt; de GPT-compatibele telling van deze tool is een goede schatting, maar het exacte aantal voor specifiek Claude of Gemini kan iets afwijken.
Waarom is het aantal tokens eigenlijk belangrijk, en wat is een contextvenster?
De meeste AI-API's rekenen per token en beperken hoeveel tokens in één verzoek passen — die limiet heet het contextvenster en omvat zowel je invoer als de uitvoer van het model samen. Je aantal tokens vooraf kennen helpt onverwachte kosten bij een betaalde API te voorkomen, of een verzoek dat wordt afgekapt of geweigerd omdat het de limiet overschrijdt; zodra je het aantal tokens hebt, vul je het samen met je gekozen model in bij de AI-kostencalculator om de werkelijke prijs te schatten.
Stuurt deze tool je tekst ergens naartoe, en hoe verlaag je een hoog aantal tokens?
Nee — de tokenisatie gebeurt volledig in je browser met een lokale tokenizerbibliotheek, dus je tekst wordt nooit geüpload of naar een server gestuurd. Om het aantal tokens te verlagen, verwijder je onnodige woorden, overbodige context en herhaalde instructies; de AI-promptverkorter kan een lange prompt automatisch inkorten terwijl de betekenis intact blijft.
Waarom splitsen AI-modellen tekst op in die vreemde kleine stukjes in plaats van gewoon woorden te tellen?
Omdat de techniek van lang vóór AI-taalmodellen dateert — het begon als een truc voor datacompressie. Programmeur Philip Gage publiceerde het oorspronkelijke Byte Pair Encoding-algoritme in 1994 in een nummer van The C Users Journal, waarin hij een eenvoudige manier beschreef om een bestand te verkleinen door herhaaldelijk het meest voorkomende paar aangrenzende bytes te vervangen door één ongebruikte byte. Het bleef twee decennia een voetnoot in de compressiewereld, tot 2015, toen de onderzoekers Rico Sennrich, Barry Haddow en Alexandra Birch hetzelfde kernidee inzetten voor een totaal ander probleem: zeldzame en onbekende woorden opdelen in kleinere, gangbaardere subwoordstukken, zodat vertaalmodellen woordenschat aankonden die ze nooit als geheel hadden gezien. Die hergebruikte techniek is in wezen wat elke moderne tokenizer, inclusief die achter deze teller, vandaag nog doet — stilletjes een bestandscompressie-algoritme uit 1994 lenen om te bepalen wat als één "token" tekst telt.
Is Tokenteller gratis te gebruiken?
Ja. Tokenteller is volledig gratis, zonder registratie en zonder gebruikslimieten.
Moet ik software installeren?
Nee. Tokenteller werkt rechtstreeks in je webbrowser — je hoeft niets te downloaden of te installeren.
Blijven mijn gegevens privé?
Alles gebeurt op je eigen apparaat. Wij ontvangen of bewaren nooit de bestanden of tekst die je in Tokenteller invoert.