Zrozumieć tokeny: jak modele AI naprawdę «czytają» twój tekst
17 września 2026
Ceny każdego dużego modelu językowego, jego okno kontekstowe, a nawet część jego dziwnych zachowań związanych z pisownią czy matematyką sprowadzają się do jednego pojęcia: tokena. Tokeny nie są słowami, nie są znakami i nie są dokładnie sylabami — to specyficzny dla danego modelu schemat kompresji, a zrozumienie, jak działają, wyjaśnia zaskakująco dużo zachowań AI, które w przeciwnym razie wyglądałyby na przypadkowe.
Czym dokładnie jest token, skoro to nie słowo?
Token to fragment tekstu — czasem całe popularne słowo, czasem fragment słowa, czasem pojedynczy znak — określony przez tokenizator wytrenowany tak, by jak najefektywniej reprezentować najczęstsze fragmenty tekstu w swoich danych treningowych. Popularne angielskie słowa jak «the» czy «cat» są zwykle pojedynczym tokenem; mniej popularne lub złożone słowa często dzielą się na dwa lub trzy (np. «tokenization» może stać się «token» + «ization»). Jako przybliżoną regułę dla języka angielskiego, jeden token szacuje się zwykle na około 4 znaki lub mniej więcej ¾ słowa, ale różni się to w zależności od modelu i zawsze jest tylko przybliżeniem.
Dlaczego ceny API AI podawane są za token, a nie za słowo czy za zapytanie?
Ponieważ to tokeny, a nie słowa, są dosłownie jednostką, którą model przetwarza wewnętrznie — każdy token wprowadzony i wygenerowany zużywa moc obliczeniową, więc jest to najbardziej bezpośrednia i uczciwa jednostka rozliczeniowa. Rozliczanie za token pozwala też dostawcom naliczać różne stawki za dane wejściowe i wyjściowe (generowanie jest zwykle bardziej kosztowne obliczeniowo niż czytanie), dlatego większość cenników API AI podaje osobną stawkę za token wejściowy i wyjściowy, zamiast jednej płaskiej ceny za zapytanie.
Dlaczego niektóre języki kosztują zauważalnie więcej za zdanie niż angielski?
Ponieważ większość głównych tokenizatorów była trenowana na zbiorach danych zdominowanych przez tekst angielski, angielskie słowa są nieproporcjonalnie częściej mapowane na pojedyncze, wydajne tokeny. Języki o innych systemach pisma lub morfologii — wiele języków z grupy CJK (chiński, japoński, koreański) lub języki z rozbudowanym tworzeniem słów złożonych — często tokenizują się mniej efektywnie, czasem wymagając dwóch, trzech lub więcej tokenów, aby zapisać znaczenie, które w angielskim zmieściłoby się w jednym tokenie. Praktyczny efekt: to samo zdanie, przetłumaczone, może kosztować zauważalnie więcej tokenów (a więc i więcej w cenie API) w jednym języku niż w drugim, wyłącznie jako artefakt sposobu, w jaki wytrenowano tokenizator, a nie faktycznej złożoności treści.
Co tak naprawdę ogranicza «okno kontekstowe» modelu?
Okno kontekstowe to maksymalna liczba tokenów, które model może uwzględnić naraz — łącząc twoje dane wejściowe (prompt systemowy, historię rozmowy, wszelkie dostarczone dokumenty) z odpowiedzią, którą generuje. To nie jest limit na «ile możesz zapytać» w oderwaniu od reszty; to wspólny budżet obejmujący wszystko, co model musi przeczytać, i wszystko, co produkuje w ramach tej jednej wymiany. Długa historia rozmowy albo obszerny wklejony dokument może pochłonąć większość okna kontekstowego, zanim model wygeneruje choćby jedno słowo odpowiedzi, dlatego bardzo długie rozmowy czasem tracą z pola widzenia szczegóły sprzed jakiegoś czasu — po prostu wypadły z budżetu tokenów.