Los tokens de IA son la unidad más pequeña utilizada por los Modelos de Lenguaje Grande (LLM) para procesar texto. A diferencia del recuento de caracteres, el conteo de tokens varía según el idioma y el modelo.
Definición de token
Los tokens son unidades de palabras, partes de palabras, puntuación o símbolos. En inglés, "Hello" = 1 token; en japonés, "こんにちは" = 2-3 tokens típicamente. Los espacios y saltos de línea también cuentan como tokens.
Diferencia entre tokens y caracteres
Inglés: ~4 caracteres = 1 token, Japonés: ~1,5-2 caracteres = 1 token, Código: varía según la sintaxis. Ejemplo: "Hello World" (11 caracteres) = 2 tokens, "こんにちは世界" (7 caracteres) = 4-5 tokens.
Por qué importa el recuento de tokens
Los precios de las API de IA se basan en el recuento de tokens (ej. GPT-4: $0.03 por 1000 tokens). Cada modelo tiene límites de tokens (GPT-4 8K = 8192 tokens), y excederlos causa errores. Comprender el recuento de tokens es esencial para un diseño eficiente de prompts.
Límites de tokens por principales modelos de IA
GPT-4 (8K): 8.192 tokens, GPT-4 (32K): 32.768 tokens, GPT-4 Turbo: 128.000 tokens, GPT-3.5 Turbo: 16.385 tokens, Claude 3: 200.000 tokens, Gemini Pro: 32.768 tokens, Gemini Ultra: 100.000 tokens (planificado).
Comparación de precios por principales modelos de IA
GPT-4: entrada $0.03/1K, salida $0.06/1K, GPT-4 Turbo: entrada $0.01/1K, salida $0.03/1K, GPT-3.5 Turbo: entrada $0.0005/1K, salida $0.0015/1K, Claude 3 Opus: entrada $0.015/1K, salida $0.075/1K, Claude 3 Sonnet: entrada $0.003/1K, salida $0.015/1K, Gemini Pro: plan gratuito disponible (ver documentación oficial).
Cómo funciona la tokenización
Los modelos de IA dividen el texto en tokens usando algoritmos como BPE (Byte Pair Encoding) o WordPiece. Las palabras comunes se convierten en 1 token; las palabras raras se dividen en múltiples tokens. Los emojis y caracteres especiales pueden ser múltiples tokens por carácter.
Tokens de entrada vs tokens de salida
Las API de IA cobran de manera diferente por entrada (prompts) y salida (texto generado). Los tokens de salida son típicamente más caros (ej. la salida de GPT-4 cuesta 2x la entrada). Para optimizar costos, limite los tokens de salida usando el parámetro max_tokens.
Precisión de esta herramienta
Esta herramienta simula los tokenizadores oficiales para cada modelo pero no garantiza precisión perfecta. Para recuentos de tokens precisos, use herramientas oficiales (tiktoken de OpenAI, Claude Tokenizer de Anthropic, etc.). Proporciona suficiente precisión para propósitos de estimación.