AI Token是大型语言模型（LLM）处理文本时使用的最小单位。与字符数不同，令牌计数因语言和模型而异。
Token的定义
Token是单词、单词的一部分、标点符号或符号的单位。在英语中，"Hello" = 1令牌；在中文中，"你好" = 通常2-3个令牌。空格和换行符也计为令牌。
令牌与字符的区别
英语：约4个字符 = 1令牌，中文：约1.5-2个字符 = 1令牌，代码：因语法而异。例如："Hello World"（11个字符）= 2令牌，"你好世界"（4个字符）= 4-5个令牌。
为什么令牌数很重要
AI API定价基于令牌数（例如，GPT-4：每1000令牌$0.03）。每个模型都有令牌限制（GPT-4 8K = 8192令牌），超过会导致错误。了解令牌数对高效的提示设计至关重要。
主要AI模型的令牌限制
GPT-4 (8K): 8,192令牌，GPT-4 (32K): 32,768令牌，GPT-4 Turbo: 128,000令牌，GPT-3.5 Turbo: 16,385令牌，Claude 3: 200,000令牌，Gemini Pro: 32,768令牌，Gemini Ultra: 100,000令牌（计划中）。
主要AI模型的价格比较
GPT-4: 输入$0.03/1K，输出$0.06/1K，GPT-4 Turbo: 输入$0.01/1K，输出$0.03/1K，GPT-3.5 Turbo: 输入$0.0005/1K，输出$0.0015/1K，Claude 3 Opus: 输入$0.015/1K，输出$0.075/1K，Claude 3 Sonnet: 输入$0.003/1K，输出$0.015/1K，Gemini Pro: 提供免费层（请参阅官方文档）。
令牌化的工作原理
AI模型使用BPE（字节对编码）或WordPiece等算法将文本分割成令牌。常见单词变成1个令牌；罕见单词分割成多个令牌。表情符号和特殊字符每个字符可能是多个令牌。
输入令牌与输出令牌
AI API对输入（提示）和输出（生成的文本）收费不同。输出令牌通常更贵（例如，GPT-4输出成本是输入的2倍）。为了优化成本，请使用max_tokens参数限制输出令牌。
本工具的准确性
本工具模拟每个模型的官方tokenizer，但不保证完全准确。对于精确的令牌计数，请使用官方工具（OpenAI的tiktoken、Anthropic的Claude Tokenizer等）。它为估算目的提供了足够的准确性。