AI žetonai yra mažiausias vienetas, kurį Dideli Kalbų Modeliai (LLM) naudoja tekstui apdoroti. Skirtingai nei simbolių skaičius, žetonų skaičiavimas skiriasi priklausomai nuo kalbos ir modelio.
Žetono Apibrėžimas
Žetonai yra žodžių, žodžių dalių, skyrybos ženklų ar simbolių vienetai. Anglų kalba "Hello" = 1 žetonas; japonų kalba "こんにちは" = paprastai 2-3 žetonai. Tarpai ir eilučių pabaigos taip pat skaičiuojami kaip žetonai.
Skirtumas Tarp Žetonų ir Simbolių
Anglų kalba: ~4 simboliai = 1 žetonas, Japonų kalba: ~1,5-2 simboliai = 1 žetonas, Kodas: skiriasi priklausomai nuo sintaksės. Pavyzdys: "Hello World" (11 simbolių) = 2 žetonai, "こんにちは世界" (7 simboliai) = 4-5 žetonai.
Kodėl Žetonų Skaičius Svarbus
AI API kainos grindžiamos žetonų skaičiumi (pvz., GPT-4: 0,03 $ už 1000 žetonų). Kiekvienas modelis turi žetonų limitus (GPT-4 8K = 8192 žetonai), o jų viršijimas sukelia klaidas. Žetonų skaičių supratimas yra būtinas veiksmingam raginimų dizainui.
Žetonų Limitai Pagrindinių AI Modelių
GPT-4 (8K): 8192 žetonai, GPT-4 (32K): 32 768 žetonai, GPT-4 Turbo: 128 000 žetonų, GPT-3.5 Turbo: 16 385 žetonai, Claude 3: 200 000 žetonų, Gemini Pro: 32 768 žetonai, Gemini Ultra: 100 000 žetonų (planuojama).
Kainų Palyginimas Pagrindinių AI Modelių
GPT-4: įvestis 0,03 $/1K, išvestis 0,06 $/1K, GPT-4 Turbo: įvestis 0,01 $/1K, išvestis 0,03 $/1K, GPT-3.5 Turbo: įvestis 0,0005 $/1K, išvestis 0,0015 $/1K, Claude 3 Opus: įvestis 0,015 $/1K, išvestis 0,075 $/1K, Claude 3 Sonnet: įvestis 0,003 $/1K, išvestis 0,015 $/1K, Gemini Pro: nemokamas lygis prieinamas (žr. oficialius dokumentus).
Kaip Veikia Tokenizacija
AI modeliai skaido tekstą į žetonus naudodami algoritmus, tokius kaip BPE (Byte Pair Encoding) arba WordPiece. Įprasti žodžiai tampa 1 žetonu; reti žodžiai skaidomi į kelis žetonus. Emocijos ir specialūs simboliai gali būti keli žetonai vienam simboliui.
Įvesties Žetonai vs Išvesties Žetonai
AI API skirtingai apmokestina įvestį (raginimus) ir išvestį (sugeneruotą tekstą). Išvesties žetonai paprastai brangesni (pvz., GPT-4 išvestis kainuoja 2 kartus daugiau nei įvestis). Išlaidų optimizavimui ribokite išvesties žetonus naudodami max_tokens parametrą.
Šio Įrankio Tikslumas
Šis įrankis simuliuoja oficialius tokenizatorius kiekvienam modeliui, bet negarantuoja tobulo tikslumo. Tiksliam žetonų skaičiui naudokite oficialius įrankius (OpenAI tiktoken, Anthropic Claude Tokenizer ir kt.). Jis teikia pakankamą tikslumą įvertinimo tikslais.