Capire i Token: Come i Modelli di IA "Leggono" Davvero il Tuo Testo
17 settembre 2026
I prezzi, la finestra di contesto e persino alcuni comportamenti strani riguardo a ortografia o matematica di ogni grande modello linguistico riconducono a un unico concetto: il token. I token non sono parole, non sono caratteri, e non sono esattamente sillabe — sono uno schema di compressione specifico del modello, e capire come funzionano spiega una quantità sorprendente di comportamenti dell'IA che altrimenti sembrerebbero arbitrari.
Cos'è esattamente un token, se non è una parola?
Un token è un frammento di testo — a volte un'intera parola comune, a volte un frammento di parola, a volte un singolo carattere — determinato da un tokenizzatore addestrato a rappresentare nel modo più efficiente possibile i frammenti di testo più frequenti nei suoi dati di addestramento. Le parole inglesi comuni come "the" o "cat" sono di solito un singolo token; le parole meno comuni o composte spesso si dividono in due o tre (per esempio "tokenization" potrebbe diventare "token" + "ization"). Come regola generale approssimativa per l'inglese, un token viene comunemente stimato in circa 4 caratteri o all'incirca ¾ di parola, ma questo varia da modello a modello ed è sempre solo un'approssimazione.
Perché il prezzo delle API di IA viene quotato per token invece che per parola o per richiesta?
Perché i token, non le parole, sono letteralmente l'unità che il modello elabora internamente — ogni token immesso e generato consuma calcolo, quindi è l'unità più diretta ed equa su cui basare la fatturazione. Il prezzo per token permette anche ai fornitori di addebitare in modo diverso input e output (la generazione è tipicamente più intensiva dal punto di vista computazionale della lettura), motivo per cui la maggior parte dei listini prezzi delle API di IA elenca una tariffa separata per i token in ingresso e una per i token in uscita, invece di un prezzo fisso per richiesta.
Perché alcune lingue costano notevolmente di più per frase rispetto all'inglese?
Poiché la maggior parte dei tokenizzatori principali è stata addestrata su set di dati dominati da testo inglese, le parole inglesi hanno una probabilità sproporzionatamente alta di corrispondere a singoli token efficienti. Le lingue con scritture o morfologia diverse — molte lingue dell'Asia orientale, o lingue con ampia composizione di parole — spesso si tokenizzano in modo meno efficiente, richiedendo a volte due, tre o più token per rappresentare quello che in inglese equivarrebbe al significato di un singolo token. L'effetto pratico: la stessa frase, tradotta, può costare significativamente di più in token (e quindi nel prezzo dell'API) in una lingua rispetto a un'altra, puramente come artefatto di come è stato addestrato il tokenizzatore, non della complessità reale del contenuto.
Cosa limita davvero la "finestra di contesto" di un modello?
La finestra di contesto è il numero massimo di token che un modello può considerare contemporaneamente — combinando il tuo input (prompt di sistema, cronologia della conversazione, eventuali documenti forniti) più la risposta che genera. Non è un limite a "quanto puoi chiedere" isolatamente; è un budget condiviso tra tutto ciò che il modello deve leggere e tutto ciò che produce in quello scambio singolo. Una lunga cronologia di conversazione o un documento incollato di grandi dimensioni possono consumare gran parte della finestra di contesto prima ancora che il modello abbia generato una sola parola di risposta, motivo per cui le conversazioni molto lunghe a volte perdono traccia di dettagli iniziali — sono semplicemente usciti dal budget di token disponibile.