Entendendo Tokens: Como os Modelos de IA Realmente "Leem" seu Texto
17 de setembro de 2026
O preço, a janela de contexto e até parte do comportamento estranho de qualquer modelo de linguagem em relação a ortografia ou matemática remetem a um único conceito: o token. Tokens não são palavras, não são caracteres, e não são exatamente sílabas — são um esquema de compressão específico de cada modelo, e entender como funcionam explica uma quantidade surpreendente do comportamento da IA que, de outra forma, pareceria arbitrário.
O que exatamente é um token, se não é uma palavra?
Um token é um pedaço de texto — às vezes uma palavra comum inteira, às vezes um fragmento de palavra, às vezes um único caractere — determinado por um tokenizador treinado para representar os pedaços de texto mais frequentes nos seus dados de treinamento da forma mais eficiente possível. Palavras comuns em inglês como 'the' ou 'cat' costumam ser um único token; palavras menos comuns ou compostas costumam se dividir em dois ou três (por exemplo, 'tokenization' pode virar 'token' + 'ization'). Como regra prática aproximada para o inglês, um token é comumente estimado em cerca de 4 caracteres ou aproximadamente ¾ de uma palavra, mas isso varia por modelo e é sempre apenas uma aproximação.
Por que o preço das APIs de IA é cotado por token, em vez de por palavra ou por requisição?
Porque tokens, não palavras, são literalmente a unidade que o modelo processa internamente — cada token que entra e cada token gerado consome computação, então é a unidade mais direta e justa para cobrar. Cobrar por token também permite que os provedores cobrem valores diferentes para entrada e saída (a geração costuma ser mais intensiva computacionalmente do que a leitura), e é por isso que a maioria dos preços de API de IA lista uma taxa separada para tokens de entrada e tokens de saída, em vez de um preço único e fixo por requisição.
Por que alguns idiomas custam visivelmente mais por frase do que o inglês?
Como a maioria dos grandes tokenizadores foi treinada em conjuntos de dados dominados por texto em inglês, palavras em inglês têm uma probabilidade desproporcionalmente maior de virar tokens únicos e eficientes. Idiomas com escritas ou morfologia diferentes — muitos idiomas do leste asiático, ou idiomas com grande formação de palavras compostas — costumam tokenizar de forma menos eficiente, às vezes precisando de dois, três ou mais tokens para representar o que em inglês seria o significado de um único token. O efeito prático: a mesma frase, traduzida, pode custar bem mais tokens (e, portanto, mais no preço da API) em um idioma do que em outro, puramente como um efeito colateral de como o tokenizador foi treinado, não da complexidade real do conteúdo.
O que a "janela de contexto" de um modelo realmente limita?
A janela de contexto é o número máximo de tokens que um modelo consegue considerar de uma vez — combinando sua entrada (prompt de sistema, histórico da conversa, qualquer documento fornecido) mais a resposta que ele gera. Não é um limite isolado de 'quanto você pode perguntar'; é um orçamento compartilhado entre tudo o que o modelo precisa ler e tudo o que ele produz naquela única troca. Um histórico de conversa longo ou um documento colado extenso pode consumir a maior parte da janela de contexto antes mesmo de o modelo gerar uma única palavra de resposta, e é por isso que conversas muito longas às vezes perdem detalhes do início — eles simplesmente saíram do orçamento de tokens por terem 'envelhecido'.