AI Token是大型語言模型（LLM）處理文字時使用的最小單位。與字元數不同，令牌計數因語言和模型而異。
Token的定義
Token是單詞、單詞的一部分、標點符號或符號的單位。在英語中，"Hello" = 1令牌；在中文中，"你好" = 通常2-3個令牌。空格和換行符也計為令牌。
令牌與字元的區別
英語：約4個字元 = 1令牌，中文：約1.5-2個字元 = 1令牌，程式碼：因語法而異。例如："Hello World"（11個字元）= 2令牌，"你好世界"（4個字元）= 4-5個令牌。
為什麼令牌數很重要
AI API定價基於令牌數（例如，GPT-4：每1000令牌$0.03）。每個模型都有令牌限制（GPT-4 8K = 8192令牌），超過會導致錯誤。了解令牌數對高效的提示設計至關重要。
主要AI模型的令牌限制
GPT-4 (8K): 8,192令牌，GPT-4 (32K): 32,768令牌，GPT-4 Turbo: 128,000令牌，GPT-3.5 Turbo: 16,385令牌，Claude 3: 200,000令牌，Gemini Pro: 32,768令牌，Gemini Ultra: 100,000令牌（計劃中）。
主要AI模型的價格比較
GPT-4: 輸入$0.03/1K，輸出$0.06/1K，GPT-4 Turbo: 輸入$0.01/1K，輸出$0.03/1K，GPT-3.5 Turbo: 輸入$0.0005/1K，輸出$0.0015/1K，Claude 3 Opus: 輸入$0.015/1K，輸出$0.075/1K，Claude 3 Sonnet: 輸入$0.003/1K，輸出$0.015/1K，Gemini Pro: 提供免費層（請參閱官方文件）。
令牌化的工作原理
AI模型使用BPE（位元組對編碼）或WordPiece等演算法將文字分割成令牌。常見單詞變成1個令牌；罕見單詞分割成多個令牌。表情符號和特殊字元每個字元可能是多個令牌。
輸入令牌與輸出令牌
AI API對輸入（提示）和輸出（生成的文字）收費不同。輸出令牌通常更貴（例如，GPT-4輸出成本是輸入的2倍）。為了優化成本，請使用max_tokens參數限制輸出令牌。
本工具的準確性
本工具模擬每個模型的官方tokenizer，但不保證完全準確。對於精確的令牌計數，請使用官方工具（OpenAI的tiktoken、Anthropic的Claude Tokenizer等）。它為估算目的提供了足夠的準確性。