Les tokens IA sont la plus petite unité utilisée par les grands modèles de langage (LLM) pour traiter le texte. Contrairement au nombre de caractères, le comptage de tokens varie selon la langue et le modèle.
Définition des tokens
Les tokens sont des unités de mots, parties de mots, ponctuation ou symboles. En anglais, "Hello" = 1 token ; en japonais, "こんにちは" = 2-3 tokens typiquement. Les espaces et sauts de ligne comptent également comme tokens.
Différence entre tokens et caractères
Anglais : ~4 caractères = 1 token, Japonais : ~1,5-2 caractères = 1 token, Code : varie selon la syntaxe. Exemple : "Hello World" (11 caractères) = 2 tokens, "こんにちは世界" (7 caractères) = 4-5 tokens.
Pourquoi le nombre de tokens est important
Les tarifs des API IA sont basés sur le nombre de tokens (par ex. GPT-4 : 0,03 $ pour 1000 tokens). Chaque modèle a des limites de tokens (GPT-4 8K = 8192 tokens), et les dépasser provoque des erreurs. Comprendre le nombre de tokens est essentiel pour une conception efficace des prompts.
Limites de tokens des principaux modèles IA
GPT-4 (8K) : 8 192 tokens, GPT-4 (32K) : 32 768 tokens, GPT-4 Turbo : 128 000 tokens, GPT-3.5 Turbo : 16 385 tokens, Claude 3 : 200 000 tokens, Gemini Pro : 32 768 tokens, Gemini Ultra : 100 000 tokens (prévu).
Comparaison des prix des principaux modèles IA
GPT-4 : entrée 0,03 $/1K, sortie 0,06 $/1K, GPT-4 Turbo : entrée 0,01 $/1K, sortie 0,03 $/1K, GPT-3.5 Turbo : entrée 0,0005 $/1K, sortie 0,0015 $/1K, Claude 3 Opus : entrée 0,015 $/1K, sortie 0,075 $/1K, Claude 3 Sonnet : entrée 0,003 $/1K, sortie 0,015 $/1K, Gemini Pro : forfait gratuit disponible (voir documentation officielle).
Comment fonctionne la tokenisation
Les modèles IA divisent le texte en tokens à l'aide d'algorithmes comme BPE (Byte Pair Encoding) ou WordPiece. Les mots courants deviennent 1 token ; les mots rares se divisent en plusieurs tokens. Les emojis et caractères spéciaux peuvent être plusieurs tokens par caractère.
Tokens d'entrée vs tokens de sortie
Les API IA facturent différemment l'entrée (prompts) et la sortie (texte généré). Les tokens de sortie sont généralement plus chers (par ex. la sortie GPT-4 coûte 2x l'entrée). Pour optimiser les coûts, limitez les tokens de sortie avec le paramètre max_tokens.
Précision de cet outil
Cet outil simule les tokenizers officiels pour chaque modèle mais ne garantit pas une précision parfaite. Pour des nombres de tokens précis, utilisez les outils officiels (tiktoken d'OpenAI, Claude Tokenizer d'Anthropic, etc.). Il fournit une précision suffisante pour les estimations.