Contatore di Token IA Gratuito
Incolla del testo per stimare quanti token potrebbe utilizzare prima di inviarlo a un modello di IA o a un'API.
Conteggiato interamente nel tuo browser usando un tokenizzatore compatibile con GPT. Altre famiglie di modelli potrebbero tokenizzare in modo leggermente diverso.
Il Contatore di Token è importante perché i prezzi delle API di IA e i limiti della finestra di contesto vengono misurati in token, non in caratteri o parole, e modelli diversi tokenizzano lo stesso testo in modo diverso.
Cos'è un token, e in cosa è davvero diverso da una parola?
Un token è un frammento di testo, spesso una parola intera, parte di una parola, o un segno di punteggiatura, che un modello di IA elabora come una singola unità; la maggior parte dei modelli è tariffata e limitata in base al numero di token, non al numero di parole o caratteri. In media, il testo inglese conta circa 0,75 parole per token, anche se varia: le parole brevi comuni sono spesso un singolo token, mentre le parole più lunghe o meno comuni possono dividersi in due o più, motivo esatto per cui i tokenizzatori suddividono il testo in questi frammenti di sottoparola invece di contare parole intere come potrebbe suggerire il nome di questo strumento.
Come funziona davvero questo contatore, ed è preciso per ogni modello di IA?
Incolla il tuo testo nella casella e il conteggio si aggiorna istantaneamente usando un tokenizzatore compatibile con GPT, eseguito interamente nel tuo browser. Famiglie di modelli diverse, GPT, Claude, Gemini e altre, usano ciascuna il proprio tokenizzatore, quindi lo stesso testo può produrre un conteggio di token leggermente diverso a seconda del modello a cui ti stai davvero rivolgendo; il conteggio compatibile con GPT di questo strumento è una stima approssimativa, ma il numero esatto per Claude o Gemini nello specifico potrebbe differire leggermente.
Perché il conteggio dei token conta davvero, e cos'è una finestra di contesto?
La maggior parte delle API di IA fa pagare in base ai token e limita quanti token possono stare in una singola richiesta: quel limite si chiama finestra di contesto, e include sia il tuo input sia l'output del modello combinati. Conoscere in anticipo il tuo conteggio di token aiuta a evitare costi imprevisti su un'API a pagamento o una richiesta che viene troncata o rifiutata per aver superato il limite; una volta ottenuto un conteggio di token, inseriscilo nel Calcolatore dei Costi IA insieme al modello scelto per stimare il prezzo effettivo.
Questo strumento invia il tuo testo da qualche parte, e come si riduce un conteggio elevato di token?
No: la tokenizzazione avviene interamente nel tuo browser utilizzando una libreria di tokenizzazione locale, quindi il tuo testo non viene mai caricato o inviato a un server. Per ridurre il conteggio dei token, rimuovi parole non necessarie, contesto ridondante e istruzioni ripetute; il Riduttore di Prompt IA può aiutare a condensare automaticamente un prompt lungo mantenendone intatto il significato.
Perché i modelli di IA suddividono il testo in questi strani piccoli frammenti invece di limitarsi a contare le parole?
Perché la tecnica precede di gran lunga i modelli linguistici di IA: è nata come un trucco di compressione dati. Il programmatore Philip Gage pubblicò l'algoritmo originale Byte Pair Encoding in un numero del 1994 di The C Users Journal, descrivendo un modo semplice per ridurre un file sostituendo ripetutamente la coppia più comune di byte adiacenti con un singolo byte inutilizzato. Rimase una nota a margine della compressione dati per due decenni, fino al 2015, quando i ricercatori Rico Sennrich, Barry Haddow e Alexandra Birch riadattarono la stessa idea di fondo per un problema completamente diverso: scomporre parole rare e poco familiari in frammenti di sottoparola più piccoli e più comuni, così che i modelli di traduzione automatica potessero gestire un vocabolario che non avevano mai visto per intero. Quella tecnica riadattata è essenzialmente ciò che ogni tokenizzatore moderno, incluso quello che fa funzionare questo contatore, fa ancora oggi: prendendo in prestito silenziosamente un algoritmo di compressione file del 1994 per decidere cosa conta come un "token" di testo.
Contatore di Token è gratuito?
Sì. Contatore di Token è completamente gratuito, senza registrazione e senza limiti di utilizzo.
Devo installare qualche software?
No. Contatore di Token funziona direttamente nel tuo browser web — non c'è nulla da scaricare o installare.
I miei dati restano privati?
Tutto avviene sul tuo dispositivo. Non riceviamo né conserviamo mai il file o testo che inserisci in Contatore di Token.