¿Qué es Token?
La unidad mínima que procesa un LLM — aproximadamente ¾ de una palabra en español.
// Explicación
Los modelos no leen palabras completas sino fragmentos llamados tokens. Una palabra corta puede ser 1 token, una larga puede ser 2 o 3. También los espacios y signos de puntuación cuentan. Por eso los precios de las APIs se miden en 'por millón de tokens'. Esta definición tiene aproximadamente 60 tokens.
// Ejemplo
La palabra 'automáticamente' puede ser 4-5 tokens. 'AI' es 1. Así que escribir en español cuesta un poco más de tokens que en inglés (mala suerte).