Qué son los tokens en IA y por qué deberían importarte
Los tokens son la unidad con la que una IA "lee" y "escribe" texto. No son letras ni palabras exactamente: son fragmentos de texto, y entender cómo funcionan te ayuda a saber por qué ChatGPT, Claude o Gemini tienen límites, por qué se cobra por uso y por qué a veces "olvidan" cosas que dijiste al principio de la conversación.
¿Qué es exactamente un token?
Un token es un trozo de texto: puede ser una palabra completa, parte de una palabra, un signo de puntuación o incluso un espacio. Los modelos de lenguaje no procesan letras sueltas ni frases enteras, sino estos fragmentos intermedios.
Como referencia orientativa, en español e inglés 1 token equivale aproximadamente a 4 caracteres, o dicho de otra forma, unas 100 palabras suelen ocupar entre 130 y 150 tokens. La proporción exacta varía según el idioma y el modelo.
↑ Ejemplo simplificado: cada color representa un token. Fíjate en que "tokens" se parte en dos.
¿Por qué no se cuentan como palabras?
Porque los modelos necesitan una forma eficiente de representar cualquier idioma, incluyendo palabras raras, nombres propios, código de programación o emojis. Dividir el texto en fragmentos más pequeños que las palabras permite que el modelo maneje prácticamente cualquier combinación de caracteres, aunque nunca la haya visto exactamente igual antes.
Por eso una palabra larga o poco común puede ocupar varios tokens, mientras que palabras muy frecuentes ("de", "que", "para") suelen ser un solo token.
¿Qué es la "ventana de contexto"?
La ventana de contexto es la cantidad máxima de tokens que un modelo puede "tener en cuenta" a la vez, sumando tu conversación completa: lo que has escrito tú, lo que ha respondido la IA, y en muchos casos también los documentos o imágenes que hayas subido.
Cuando una conversación supera ese límite, el modelo empieza a "perder de vista" la parte más antigua. Es la razón por la que, en charlas muy largas, una IA a veces parece olvidar algo que le dijiste al principio: literalmente ha dejado de caber en su ventana de contexto.
| Situación | Qué significa en tokens |
|---|---|
| Una pregunta corta | Unos 10-30 tokens |
| Un email de tamaño medio | Entre 100 y 300 tokens |
| Un artículo de 1.500 palabras | Aproximadamente 2.000 tokens |
| Un documento de 50 páginas | Puede superar los 30.000-40.000 tokens |
¿Por qué importan los tokens si solo quiero usar la IA?
Porque explican tres cosas que probablemente ya has notado:
- Los límites de uso. Muchos planes gratuitos limitan cuántos tokens (o mensajes) puedes usar en un periodo de tiempo.
- El precio de las herramientas que cobran por uso (APIs). Cuando una empresa paga por usar un modelo de IA a través de una API, normalmente paga por cada mil o millón de tokens procesados, tanto los que entran como los que salen.
- Por qué unos modelos "recuerdan" más que otros. Un modelo con una ventana de contexto grande puede analizar un libro entero de una vez; uno con una ventana pequeña necesita que le resumas o le pases la información por partes.
Ejemplo real: por qué un resumen ocupa menos tokens que el original
Si le pides a una IA que resuma un texto de 3.000 tokens en 300 tokens, estás reduciendo enormemente lo que "pesa" esa información dentro de la conversación. Por eso resumir es una técnica útil cuando trabajas con documentos largos y quieres dejar sitio en el contexto para seguir haciendo preguntas después.
Tokens de entrada vs. tokens de salida
Cuando una herramienta cobra por tokens, normalmente distingue entre tokens de entrada (lo que tú envías: tu pregunta, el documento, el historial de la conversación) y tokens de salida (lo que genera el modelo como respuesta). En la mayoría de modelos, generar texto nuevo cuesta más por token que simplemente leerlo, porque generar respuesta a respuesta requiere más cálculo.
¿Los tokens son iguales en todos los idiomas?
No exactamente. Un mismo texto puede ocupar más tokens en un idioma que en otro, dependiendo de cómo el modelo fue entrenado para dividir palabras y caracteres. En general, idiomas con alfabetos poco representados en los datos de entrenamiento tienden a "gastar" más tokens para decir lo mismo que el inglés.
Resumen: lo que necesitas recordar
- Un token es un fragmento de texto, no una palabra completa.
- La ventana de contexto es cuánto texto puede "tener en cuenta" el modelo a la vez.
- Si una conversación se alarga demasiado, la IA puede perder información del principio.
- El precio de muchas herramientas de IA se calcula por tokens procesados.
- Resumir o dividir en partes ayuda a trabajar con documentos largos sin saturar el contexto.
Conclusión
No hace falta que sepas calcular tokens a mano para usar bien una IA. Pero entender que el texto se procesa en fragmentos, y que existe un límite de "memoria activa" en cada conversación, te ayuda a explicar mejor por qué una IA se comporta como lo hace: por qué tiene límites de uso, por qué cobra lo que cobra y por qué, en conversaciones muy largas, conviene resumir de vez en cuando en lugar de seguir acumulando información sin parar.
Preguntas frecuentes
¿Cuántas palabras son 1.000 tokens?
En español, aproximadamente entre 650 y 750 palabras, según el texto. En inglés rinden algo más: unas 750. Es una estimación; para saberlo con exactitud puedes pegar tu texto en el contador de tokens.
¿Por qué el español gasta más tokens que el inglés?
Porque los modelos se entrenaron con más texto en inglés y su vocabulario de tokens está optimizado para ese idioma. Las palabras españolas, con sus tildes y terminaciones, se dividen en más fragmentos. La diferencia suele rondar entre un 10 y un 30 %.
¿Qué pasa cuando se llena la ventana de contexto?
El modelo deja de tener en cuenta lo más antiguo de la conversación, o la aplicación lo resume para hacer sitio. Por eso en chats muy largos parece que «se olvida» de instrucciones del principio. La solución es empezar una conversación nueva con un resumen.
¿Los tokens cuestan dinero?
En las aplicaciones de chat pagas una suscripción fija y los tokens se traducen en límites de uso. Si usas los modelos mediante la API, pagas por cada token, con un precio para la entrada y otro más alto para la salida.
¿Un token es lo mismo que una palabra?
No. Un token puede ser una palabra corta entera, un trozo de una palabra larga, un signo de puntuación o un espacio. Las palabras frecuentes suelen ocupar un solo token y las raras o largas se dividen en varios.
Te puede interesar
HerramientaContador de tokens IACuenta tokens en ChatGPT, Claude o Gemini, mira cómo se trocea tu texto y cuánto ocupa del contexto.
Conceptos IAConceptos básicos de IA: cómo hablar con una IALos conceptos esenciales y cómo escribir buenos prompts para que una IA te entienda.
Herramientas IAClaude Pro vs Gemini Pro vs ChatGPT ProComparativa de los planes de pago: escritura, investigación, programación y relación calidad-precio.La IA de la semana, en 5 minutos
Un correo a la semana con las novedades que importan y un prompt útil. Sin spam; te das de baja con un clic.