Qué es un token en IA y por qué se paga por ellos

Un token es la unidad mínima de texto con la que trabaja un modelo de lenguaje: una palabra corta entera, parte de una palabra larga, un signo de puntuación o un espacio. Los modelos leen y escriben en tokens.

En pocas palabras

¿Te acuerdas de leer por sílabas en primaria: «ma-ri-po-sa»? Un modelo de lenguaje también «lee a trozos», solo que sus trozos son tokens, no sílabas. Las palabras frecuentes son un token y las raras, varios. Así el modelo puede escribir cualquier palabra, incluso inventada, con un «alfabeto» limitado de trozos.

Cómo funciona

1. Antes de procesarlo, el texto se corta en tokens con un programa llamado tokenizador.
2. Cada token recibe su número, porque la red neuronal trabaja con números.
3. El modelo también genera la respuesta de token en token.
4. En inglés, una palabra es de media algo más de un token; en muchos otros idiomas, incluido el español, hacen falta más tokens por palabra.
5. El número de tokens decide cuánto texto cabe en la memoria del modelo y cuánto cuesta la petición.

Dónde lo verás

Oirás hablar de tokens al leer sobre límites de los chatbots, precios de API para desarrolladores o la ventana de contexto de un modelo: «128 000 tokens», «1 millón de tokens». La velocidad de la IA en el dispositivo también se mide a menudo en tokens por segundo.

¿Importa al elegir?

Para un usuario normal, no mucho; basta con saber que los documentos largos pueden «no caber». Pero si programas y usas la IA por API, los tokens son dinero: pagas aparte la entrada y la salida. Y otra cosa: un modelo local en un portátil o móvil que saca más de 20 tokens por segundo ya se siente rápido.

Mitos

• Mito: Un token es una palabra. En realidad: No siempre. Una palabra larga o rara puede ocupar varios tokens.
• Mito: El mismo texto cuesta igual en cualquier idioma. En realidad: A menudo no: muchos idiomas necesitan más tokens que el inglés.

Preguntas frecuentes

¿Cuántos tokens tiene una página de texto?

Unos cientos, según el idioma y el modelo.

¿Cómo cuento los tokens?

Algunos servicios tienen contadores de tokens en línea y la API devuelve la cifra exacta.

¿Los tokens de la IA son lo mismo que los criptotokens?

No, son cosas totalmente distintas con el mismo nombre.

Términos relacionados

Ventana de contexto, Modelo de lenguaje grande, Prompt, Parámetros del modelo