KI-Tokens sind die kleinste Einheit, die von Large Language Models (LLMs) zur Textverarbeitung verwendet wird. Im Gegensatz zur Zeichenanzahl variiert die Token-Zählung je nach Sprache und Modell.
Token-Definition
Tokens sind Einheiten von Wörtern, Wortteilen, Satzzeichen oder Symbolen. Im Englischen: "Hello" = 1 Token; im Japanischen: "こんにちは" = typischerweise 2-3 Tokens. Leerzeichen und Zeilenumbrüche zählen ebenfalls als Tokens.
Unterschied zwischen Tokens und Zeichen
Englisch: ~4 Zeichen = 1 Token, Japanisch: ~1,5-2 Zeichen = 1 Token, Code: variiert je nach Syntax. Beispiel: "Hello World" (11 Zeichen) = 2 Tokens, "こんにちは世界" (7 Zeichen) = 4-5 Tokens.
Warum Token-Anzahl wichtig ist
KI-API-Preise basieren auf Token-Anzahl (z.B. GPT-4: 0,03 $ pro 1000 Tokens). Jedes Modell hat Token-Limits (GPT-4 8K = 8192 Tokens), und deren Überschreitung verursacht Fehler. Das Verständnis von Token-Anzahlen ist für effizientes Prompt-Design unerlässlich.
Token-Limits der wichtigsten KI-Modelle
GPT-4 (8K): 8.192 Tokens, GPT-4 (32K): 32.768 Tokens, GPT-4 Turbo: 128.000 Tokens, GPT-3.5 Turbo: 16.385 Tokens, Claude 3: 200.000 Tokens, Gemini Pro: 32.768 Tokens, Gemini Ultra: 100.000 Tokens (geplant).
Preisvergleich der wichtigsten KI-Modelle
GPT-4: Eingabe 0,03 $/1K, Ausgabe 0,06 $/1K, GPT-4 Turbo: Eingabe 0,01 $/1K, Ausgabe 0,03 $/1K, GPT-3.5 Turbo: Eingabe 0,0005 $/1K, Ausgabe 0,0015 $/1K, Claude 3 Opus: Eingabe 0,015 $/1K, Ausgabe 0,075 $/1K, Claude 3 Sonnet: Eingabe 0,003 $/1K, Ausgabe 0,015 $/1K, Gemini Pro: kostenloser Tarif verfügbar (siehe offizielle Dokumentation).
Wie Tokenisierung funktioniert
KI-Modelle teilen Text mit Algorithmen wie BPE (Byte Pair Encoding) oder WordPiece in Tokens auf. Häufige Wörter werden zu 1 Token; seltene Wörter werden in mehrere Tokens aufgeteilt. Emojis und Sonderzeichen können mehrere Tokens pro Zeichen sein.
Eingabe-Tokens vs. Ausgabe-Tokens
KI-APIs berechnen unterschiedlich für Eingabe (Prompts) und Ausgabe (generierter Text). Ausgabe-Tokens sind in der Regel teurer (z.B. GPT-4-Ausgabe kostet 2x Eingabe). Zur Kostenoptimierung begrenzen Sie Ausgabe-Tokens mit dem Parameter max_tokens.
Genauigkeit dieses Tools
Dieses Tool simuliert offizielle Tokenizer für jedes Modell, garantiert aber keine perfekte Genauigkeit. Für präzise Token-Anzahlen verwenden Sie offizielle Tools (OpenAIs tiktoken, Anthropics Claude Tokenizer usw.). Es bietet ausreichende Genauigkeit für Schätzungszwecke.