Tokens verstehen: Wie KI-Modelle Ihren Text tatsächlich „lesen"
17. September 2026
Die Preisgestaltung, das Kontextfenster und sogar ein Teil des seltsamen Verhaltens jedes großen Sprachmodells bei Rechtschreibung oder Mathematik lassen sich auf ein Konzept zurückführen: den Token. Tokens sind keine Wörter, keine Zeichen und auch nicht ganz Silben – sie sind ein modellspezifisches Kompressionsschema, und zu verstehen, wie sie funktionieren, erklärt eine überraschende Menge an KI-Verhalten, das sonst willkürlich wirkt.
Was genau ist ein Token, wenn es kein Wort ist?
Ein Token ist ein Textfragment – manchmal ein ganzes gängiges Wort, manchmal ein Teil eines Wortes, manchmal ein einzelnes Zeichen –, bestimmt von einem Tokenizer, der darauf trainiert wurde, die häufigsten Textfragmente seiner Trainingsdaten so effizient wie möglich darzustellen. Häufige englische Wörter wie „the" oder „cat" sind meist ein einzelner Token; seltenere oder zusammengesetzte Wörter werden oft in zwei oder drei Teile gespalten (z. B. könnte „tokenization" zu „token" + „ization" werden). Als grobe Faustregel für Englisch wird ein Token oft mit etwa 4 Zeichen oder rund ¾ eines Wortes geschätzt, aber das variiert je nach Modell und ist immer nur eine Näherung.
Warum wird die Preisgestaltung von KI-APIs pro Token statt pro Wort oder pro Anfrage angegeben?
Weil Tokens, nicht Wörter, buchstäblich die Einheit sind, die das Modell intern verarbeitet – jeder eingegebene und erzeugte Token verbraucht Rechenleistung, was ihn zur direktesten und fairsten Abrechnungseinheit macht. Die Abrechnung pro Token erlaubt Anbietern außerdem, für Eingabe und Ausgabe unterschiedlich zu berechnen (die Generierung ist typischerweise rechenintensiver als das Lesen), weshalb die meisten KI-API-Preislisten einen separaten Eingabe-Token-Satz und Ausgabe-Token-Satz statt eines einzigen Pauschalpreises pro Anfrage angeben.
Warum kosten manche Sprachen pro Satz spürbar mehr als Englisch?
Weil die meisten großen Tokenizer auf Datensätzen trainiert wurden, die von englischem Text dominiert werden, werden englische Wörter überproportional häufig zu einzelnen, effizienten Tokens. Sprachen mit anderen Schriftsystemen oder Morphologie – viele ostasiatische Sprachen oder Sprachen mit ausgeprägter Wortzusammensetzung – tokenisieren oft weniger effizient und benötigen manchmal zwei, drei oder mehr Tokens, um darzustellen, was im Englischen einem einzigen Token an Bedeutung entspricht. Die praktische Folge: Derselbe übersetzte Satz kann in einer Sprache spürbar mehr Tokens (und damit API-Kosten) kosten als in einer anderen, rein als Artefakt davon, wie der Tokenizer trainiert wurde, nicht wegen der tatsächlichen Komplexität des Inhalts.
Was begrenzt das „Kontextfenster" eines Modells tatsächlich?
Das Kontextfenster ist die maximale Anzahl an Tokens, die ein Modell gleichzeitig berücksichtigen kann – dazu zählen Ihre Eingabe (Systemprompt, Gesprächsverlauf, jegliche bereitgestellten Dokumente) plus die generierte Antwort. Es ist keine Begrenzung dessen, „wie viel Sie fragen können" isoliert betrachtet; es ist ein gemeinsames Budget für alles, was das Modell in diesem einen Austausch lesen und erzeugen muss. Ein langer Gesprächsverlauf oder ein großes eingefügtes Dokument kann den Großteil des Kontextfensters aufbrauchen, bevor das Modell auch nur ein Wort der Antwort generiert hat, weshalb sehr lange Gespräche manchmal frühe Details aus den Augen verlieren – sie sind schlicht aus dem Token-Budget herausgefallen.