I token IA sono l'unità più piccola utilizzata dai Large Language Models (LLM) per elaborare il testo. A differenza del conteggio dei caratteri, il conteggio dei token varia in base alla lingua e al modello.
Definizione di token
I token sono unità di parole, parti di parole, punteggiatura o simboli. In inglese, "Hello" = 1 token; in giapponese, "こんにちは" = tipicamente 2-3 token. Anche gli spazi e le interruzioni di riga contano come token.
Differenza tra token e caratteri
Inglese: ~4 caratteri = 1 token, Giapponese: ~1,5-2 caratteri = 1 token, Codice: varia in base alla sintassi. Esempio: "Hello World" (11 caratteri) = 2 token, "こんにちは世界" (7 caratteri) = 4-5 token.
Perché il conteggio dei token è importante
I prezzi delle API IA si basano sul conteggio dei token (es. GPT-4: $0.03 per 1000 token). Ogni modello ha limiti di token (GPT-4 8K = 8192 token), e superarli causa errori. Comprendere il conteggio dei token è essenziale per una progettazione efficiente dei prompt.
Limiti di token per principali modelli IA
GPT-4 (8K): 8.192 token, GPT-4 (32K): 32.768 token, GPT-4 Turbo: 128.000 token, GPT-3.5 Turbo: 16.385 token, Claude 3: 200.000 token, Gemini Pro: 32.768 token, Gemini Ultra: 100.000 token (previsto).
Confronto dei prezzi per principali modelli IA
GPT-4: input $0.03/1K, output $0.06/1K, GPT-4 Turbo: input $0.01/1K, output $0.03/1K, GPT-3.5 Turbo: input $0.0005/1K, output $0.0015/1K, Claude 3 Opus: input $0.015/1K, output $0.075/1K, Claude 3 Sonnet: input $0.003/1K, output $0.015/1K, Gemini Pro: piano gratuito disponibile (vedi documentazione ufficiale).
Come funziona la tokenizzazione
I modelli IA dividono il testo in token utilizzando algoritmi come BPE (Byte Pair Encoding) o WordPiece. Le parole comuni diventano 1 token; le parole rare si dividono in più token. Gli emoji e i caratteri speciali possono essere più token per carattere.
Token di input vs token di output
Le API IA addebitano in modo diverso per input (prompt) e output (testo generato). I token di output sono tipicamente più costosi (es. l'output di GPT-4 costa 2x l'input). Per ottimizzare i costi, limita i token di output usando il parametro max_tokens.
Precisione di questo strumento
Questo strumento simula i tokenizer ufficiali per ogni modello ma non garantisce una precisione perfetta. Per conteggi di token precisi, usa strumenti ufficiali (tiktoken di OpenAI, Claude Tokenizer di Anthropic, ecc.). Fornisce una precisione sufficiente per scopi di stima.