Os tokens de IA são a menor unidade usada pelos Modelos de Linguagem Grande (LLM) para processar texto. Ao contrário da contagem de caracteres, a contagem de tokens varia de acordo com o idioma e o modelo.
Definição de token
Tokens são unidades de palavras, partes de palavras, pontuação ou símbolos. Em inglês, "Hello" = 1 token; em japonês, "こんにちは" = tipicamente 2-3 tokens. Espaços e quebras de linha também contam como tokens.
Diferença entre tokens e caracteres
Inglês: ~4 caracteres = 1 token, Japonês: ~1,5-2 caracteres = 1 token, Código: varia de acordo com a sintaxe. Exemplo: "Hello World" (11 caracteres) = 2 tokens, "こんにちは世界" (7 caracteres) = 4-5 tokens.
Por que a contagem de tokens é importante
Os preços das APIs de IA são baseados na contagem de tokens (ex. GPT-4: $0.03 por 1000 tokens). Cada modelo tem limites de tokens (GPT-4 8K = 8192 tokens), e excedê-los causa erros. Compreender a contagem de tokens é essencial para design eficiente de prompts.
Limites de tokens por principais modelos de IA
GPT-4 (8K): 8.192 tokens, GPT-4 (32K): 32.768 tokens, GPT-4 Turbo: 128.000 tokens, GPT-3.5 Turbo: 16.385 tokens, Claude 3: 200.000 tokens, Gemini Pro: 32.768 tokens, Gemini Ultra: 100.000 tokens (planejado).
Comparação de preços por principais modelos de IA
GPT-4: entrada $0.03/1K, saída $0.06/1K, GPT-4 Turbo: entrada $0.01/1K, saída $0.03/1K, GPT-3.5 Turbo: entrada $0.0005/1K, saída $0.0015/1K, Claude 3 Opus: entrada $0.015/1K, saída $0.075/1K, Claude 3 Sonnet: entrada $0.003/1K, saída $0.015/1K, Gemini Pro: plano gratuito disponível (veja documentação oficial).
Como funciona a tokenização
Os modelos de IA dividem o texto em tokens usando algoritmos como BPE (Byte Pair Encoding) ou WordPiece. Palavras comuns tornam-se 1 token; palavras raras dividem-se em múltiplos tokens. Emojis e caracteres especiais podem ser múltiplos tokens por caractere.
Tokens de entrada vs tokens de saída
As APIs de IA cobram de forma diferente por entrada (prompts) e saída (texto gerado). Os tokens de saída são tipicamente mais caros (ex. a saída do GPT-4 custa 2x a entrada). Para otimizar custos, limite os tokens de saída usando o parâmetro max_tokens.
Precisão desta ferramenta
Esta ferramenta simula os tokenizadores oficiais para cada modelo mas não garante precisão perfeita. Para contagens de tokens precisas, use ferramentas oficiais (tiktoken da OpenAI, Claude Tokenizer da Anthropic, etc.). Fornece precisão suficiente para propósitos de estimativa.