Comprendre les Tokens : Comment les Modèles d'IA « Lisent » Réellement votre Texte
17 septembre 2026
Le prix, la fenêtre de contexte et même une partie du comportement étrange de tout grand modèle de langage autour de l'orthographe ou des mathématiques remontent à un seul concept : le token. Les tokens ne sont pas des mots, ne sont pas des caractères, et ne sont pas tout à fait des syllabes — ce sont un schéma de compression spécifique à chaque modèle, et comprendre leur fonctionnement explique une quantité surprenante du comportement de l'IA qui semblerait autrement arbitraire.
Qu'est-ce qu'un token exactement, si ce n'est pas un mot ?
Un token est un fragment de texte — parfois un mot courant entier, parfois un fragment de mot, parfois un seul caractère — déterminé par un tokeniseur entraîné à représenter les fragments de texte les plus fréquents de ses données d'entraînement de la manière la plus efficace possible. Les mots anglais courants comme « the » ou « cat » sont généralement un seul token ; les mots moins courants ou composés se divisent souvent en deux ou trois (par exemple, « tokenization » pourrait devenir « token » + « ization »). Comme règle empirique approximative pour l'anglais, un token est communément estimé à environ 4 caractères ou à peu près ¾ de mot, mais cela varie selon le modèle et ne reste qu'une approximation.
Pourquoi le prix des API d'IA est-il indiqué par token plutôt que par mot ou par requête ?
Parce que les tokens, et non les mots, sont littéralement l'unité que le modèle traite en interne — chaque token entré et généré consomme du calcul, c'est donc l'unité la plus directe et la plus juste pour facturer. Facturer par token permet aussi aux fournisseurs de facturer différemment l'entrée et la sortie (la génération est généralement plus intensive en calcul que la lecture), ce qui explique pourquoi la plupart des tarifications d'API d'IA affichent un tarif séparé pour les tokens d'entrée et pour les tokens de sortie plutôt qu'un prix fixe par requête.
Pourquoi certaines langues coûtent-elles nettement plus cher par phrase que l'anglais ?
Parce que la plupart des principaux tokeniseurs ont été entraînés sur des jeux de données dominés par du texte anglais, les mots anglais ont une probabilité disproportionnée de correspondre à des tokens uniques et efficaces. Les langues avec des écritures ou une morphologie différentes — de nombreuses langues d'Asie de l'Est, ou des langues avec une composition de mots étendue — se tokenisent souvent moins efficacement, nécessitant parfois deux, trois tokens ou plus pour représenter ce qui vaudrait un seul token de sens en anglais. L'effet pratique : la même phrase, traduite, peut coûter sensiblement plus de tokens (et donc plus cher en prix d'API) dans une langue que dans une autre, purement comme un artefact de la façon dont le tokeniseur a été entraîné, et non de la complexité réelle du contenu.
Que limite réellement la « fenêtre de contexte » d'un modèle ?
La fenêtre de contexte est le nombre maximal de tokens qu'un modèle peut considérer à la fois — en combinant votre entrée (invite système, historique de conversation, tout document fourni) plus la réponse qu'il génère. Ce n'est pas une limite sur « combien vous pouvez demander » de façon isolée ; c'est un budget partagé entre tout ce que le modèle doit lire et tout ce qu'il produit dans cet échange unique. Un long historique de conversation ou un gros document collé peut consommer la majeure partie de la fenêtre de contexte avant même que le modèle n'ait généré un seul mot de réponse, ce qui explique pourquoi de très longues conversations perdent parfois le fil de détails du début — ils sont simplement sortis du budget de tokens avec le temps.