Tokeny AI to najmniejsza jednostka używana przez duże modele językowe (LLM) do przetwarzania tekstu. W przeciwieństwie do liczby znaków, liczenie tokenów różni się w zależności od języka i modelu.
Definicja tokenu
Tokeny to jednostki słów, części słów, interpunkcji lub symboli. W języku angielskim "Hello" = 1 token; w języku japońskim "こんにちは" = zazwyczaj 2-3 tokeny. Spacje i znaki nowej linii również liczą się jako tokeny.
Różnica między tokenami a znakami
Angielski: ~4 znaki = 1 token, japoński: ~1,5-2 znaki = 1 token, kod: różni się w zależności od składni. Przykład: "Hello World" (11 znaków) = 2 tokeny, "こんにちは世界" (7 znaków) = 4-5 tokenów.
Dlaczego liczba tokenów ma znaczenie
Ceny API AI opierają się na liczbie tokenów (np. GPT-4: $0.03 za 1000 tokenów). Każdy model ma limity tokenów (GPT-4 8K = 8192 tokeny), a ich przekroczenie powoduje błędy. Zrozumienie liczby tokenów jest niezbędne do skutecznego projektowania promptów.
Limity tokenów dla głównych modeli AI
GPT-4 (8K): 8192 tokeny, GPT-4 (32K): 32 768 tokenów, GPT-4 Turbo: 128 000 tokenów, GPT-3.5 Turbo: 16 385 tokenów, Claude 3: 200 000 tokenów, Gemini Pro: 32 768 tokenów, Gemini Ultra: 100 000 tokenów (planowane).
Porównanie cen dla głównych modeli AI
GPT-4: wejście $0.03/1K, wyjście $0.06/1K, GPT-4 Turbo: wejście $0.01/1K, wyjście $0.03/1K, GPT-3.5 Turbo: wejście $0.0005/1K, wyjście $0.0015/1K, Claude 3 Opus: wejście $0.015/1K, wyjście $0.075/1K, Claude 3 Sonnet: wejście $0.003/1K, wyjście $0.015/1K, Gemini Pro: dostępna bezpłatna warstwa (zobacz oficjalną dokumentację).
Jak działa tokenizacja
Modele AI dzielą tekst na tokeny za pomocą algorytmów takich jak BPE (Byte Pair Encoding) lub WordPiece. Popularne słowa stają się 1 tokenem; rzadkie słowa dzielą się na wiele tokenów. Emotikony i znaki specjalne mogą być wieloma tokenami na znak.
Tokeny wejściowe vs tokeny wyjściowe
API AI naliczają różne opłaty za wejście (prompty) i wyjście (wygenerowany tekst). Tokeny wyjściowe są zazwyczaj droższe (np. wyjście GPT-4 kosztuje 2 razy więcej niż wejście). Aby zoptymalizować koszty, ogranicz tokeny wyjściowe za pomocą parametru max_tokens.
Dokładność tego narzędzia
To narzędzie symuluje oficjalne tokenizatory dla każdego modelu, ale nie gwarantuje idealnej dokładności. Aby uzyskać dokładną liczbę tokenów, użyj oficjalnych narzędzi (tiktoken OpenAI, Claude Tokenizer Anthropic itp.). Zapewnia wystarczającą dokładność do celów szacunkowych.