Entendiendo los Tokens: Cómo «Leen» Realmente tu Texto los Modelos de IA
17 de septiembre de 2026
El precio, la ventana de contexto e incluso parte del comportamiento extraño de cualquier modelo de lenguaje grande en torno a la ortografía o las matemáticas se remontan a un solo concepto: el token. Los tokens no son palabras, no son caracteres, y no son exactamente sílabas; son un esquema de compresión específico de cada modelo, y entender cómo funcionan explica una cantidad sorprendente del comportamiento de la IA que de otro modo parecería arbitrario.
¿Qué es exactamente un token, si no es una palabra?
Un token es un fragmento de texto —a veces una palabra común completa, a veces un fragmento de una palabra, a veces un solo carácter— determinado por un tokenizador entrenado para representar los fragmentos de texto más frecuentes en sus datos de entrenamiento de la forma más eficiente posible. Palabras inglesas comunes como «the» o «cat» suelen ser un solo token; las palabras menos comunes o compuestas a menudo se dividen en dos o tres (por ejemplo, «tokenization» puede convertirse en «token» + «ization»). Como regla general aproximada para el inglés, se suele estimar que un token equivale a unos 4 caracteres o aproximadamente ¾ de una palabra, pero esto varía según el modelo y siempre es solo una aproximación.
¿Por qué el precio de las API de IA se cotiza por token en lugar de por palabra o por solicitud?
Porque los tokens, no las palabras, son literalmente la unidad que procesa el modelo internamente; cada token que entra y que se genera consume cómputo, así que es la unidad más directa y justa para facturar. Cobrar por token también permite a los proveedores cobrar de forma distinta por entrada y por salida (generar suele requerir más cómputo que leer), razón por la cual la mayoría de los precios de las API de IA incluyen una tarifa separada por token de entrada y por token de salida, en lugar de un precio plano por solicitud.
¿Por qué algunos idiomas cuestan notablemente más por frase que el inglés?
Porque la mayoría de los tokenizadores principales se entrenaron con conjuntos de datos dominados por texto en inglés, las palabras en inglés tienen una probabilidad desproporcionadamente alta de corresponder a un solo token eficiente. Los idiomas con alfabetos o morfología distintos —muchos idiomas de Asia oriental, o idiomas con una composición de palabras extensa— a menudo se tokenizan de forma menos eficiente, necesitando a veces dos, tres o más tokens para representar lo que en inglés sería el significado de un solo token. El efecto práctico: la misma frase, traducida, puede costar bastante más en tokens (y por tanto en precio de API) en un idioma que en otro, puramente como un artefacto de cómo se entrenó el tokenizador, no de la complejidad real del contenido.
¿Qué limita realmente la «ventana de contexto» de un modelo?
La ventana de contexto es el número máximo de tokens que un modelo puede considerar a la vez, combinando tu entrada (instrucción del sistema, historial de la conversación, cualquier documento proporcionado) más la respuesta que genera. No es un límite sobre «cuánto puedes preguntar» de forma aislada; es un presupuesto compartido entre todo lo que el modelo tiene que leer y todo lo que produce en ese único intercambio. Un historial de conversación largo o un documento pegado extenso pueden consumir la mayor parte de la ventana de contexto antes de que el modelo haya generado una sola palabra de respuesta, razón por la cual las conversaciones muy largas a veces pierden el hilo de detalles del principio: simplemente han quedado fuera del presupuesto de tokens.