AI tokens er den minste enheten som store språkmodeller (LLM-er) bruker til å behandle tekst. I motsetning til tegn-antall varierer token-telling etter språk og modell.
Token Definisjon
Tokens er enheter av ord, deler av ord, tegnsetting eller symboler. På engelsk er "Hello" = 1 token; på japansk er "こんにちは" typisk = 2-3 tokens. Mellomrom og linjeskift teller også som tokens.
Forskjell mellom Tokens og Tegn
Engelsk: ~4 tegn = 1 token, Japansk: ~1.5-2 tegn = 1 token, Kode: varierer etter syntaks. Eksempel: "Hello World" (11 tegn) = 2 tokens, "こんにちは世界" (7 tegn) = 4-5 tokens.
Hvorfor Token-Antall er Viktig
AI API-prising er basert på token-antall (f.eks. GPT-4: $0.03 per 1000 tokens). Hver modell har token-grenser (GPT-4 8K = 8192 tokens), og å overskride dem forårsaker feil. Forståelse av token-antall er essensielt for effektiv prompt-design.
Token-Grenser for Større AI-Modeller
GPT-4 (8K): 8 192 tokens, GPT-4 (32K): 32 768 tokens, GPT-4 Turbo: 128 000 tokens, GPT-3.5 Turbo: 16 385 tokens, Claude 3: 200 000 tokens, Gemini Pro: 32 768 tokens, Gemini Ultra: 100 000 tokens (planlagt).
Prissammenligning for Større AI-Modeller
GPT-4: inndata $0.03/1K, utdata $0.06/1K, GPT-4 Turbo: inndata $0.01/1K, utdata $0.03/1K, GPT-3.5 Turbo: inndata $0.0005/1K, utdata $0.0015/1K, Claude 3 Opus: inndata $0.015/1K, utdata $0.075/1K, Claude 3 Sonnet: inndata $0.003/1K, utdata $0.015/1K, Gemini Pro: gratis nivå tilgjengelig (se offisielle dokumenter).
Hvordan Tokenisering Fungerer
AI-modeller deler tekst i tokens ved hjelp av algoritmer som BPE (Byte Pair Encoding) eller WordPiece. Vanlige ord blir til 1 token; sjeldne ord deles i flere tokens. Emojier og spesialtegn kan være flere tokens per tegn.
Inndata Tokens vs Utdata Tokens
AI API-er tar forskjellig betalt for inndata (prompts) og utdata (generert tekst). Utdata tokens er vanligvis dyrere (f.eks. GPT-4 utdata koster 2x inndata). For kostnadsoptimalisering, begrens utdata tokens ved å bruke max_tokens-parameteren.
Nøyaktighet av Dette Verktøyet
Dette verktøyet simulerer offisielle tokenizers for hver modell, men garanterer ikke perfekt nøyaktighet. For presise token-antall, bruk offisielle verktøy (OpenAI's tiktoken, Anthropic's Claude Tokenizer osv.). Det gir tilstrekkelig nøyaktighet for estimeringsformål.