Token AI là đơn vị nhỏ nhất khi các mô hình ngôn ngữ lớn (LLM) xử lý văn bản. Khác với số ký tự và được đếm khác nhau tùy theo ngôn ngữ và mô hình.
Định Nghĩa Token
Token là đơn vị của từ, phần của từ, dấu câu, ký hiệu, v.v. Trong tiếng Anh "Hello" = 1 token, trong tiếng Nhật "こんにちは" = 2-3 token thông thường. Khoảng trắng, dòng mới cũng được đếm là token.
Sự Khác Biệt Giữa Token và Số Ký Tự
Tiếng Anh: khoảng 4 ký tự = 1 token, tiếng Nhật: khoảng 1.5-2 ký tự = 1 token, Code: thay đổi tùy theo cú pháp. Ví dụ: "Hello World" (11 ký tự) = 2 token, "こんにちは世界" (7 ký tự) = 4-5 token.
Tại Sao Số Token Quan Trọng
Phí API AI được xác định dựa trên số token (ví dụ: GPT-4 là $0.03 cho 1000 token). Ngoài ra, mỗi mô hình có giới hạn số token (GPT-4 8K = 8192 token), và vượt quá giới hạn sẽ gây ra lỗi. Hiểu số token là cần thiết cho thiết kế prompt hiệu quả.
Giới Hạn Số Token Của Các Mô Hình AI Chính
GPT-4 (8K): 8,192 token, GPT-4 (32K): 32,768 token, GPT-4 Turbo: 128,000 token, GPT-3.5 Turbo: 16,385 token, Claude 3: 200,000 token, Gemini Pro: 32,768 token, Gemini Ultra: 100,000 token (dự kiến).
So Sánh Giá Của Các Mô Hình AI Chính
GPT-4: đầu vào $0.03/1K, đầu ra $0.06/1K, GPT-4 Turbo: đầu vào $0.01/1K, đầu ra $0.03/1K, GPT-3.5 Turbo: đầu vào $0.0005/1K, đầu ra $0.0015/1K, Claude 3 Opus: đầu vào $0.015/1K, đầu ra $0.075/1K, Claude 3 Sonnet: đầu vào $0.003/1K, đầu ra $0.015/1K, Gemini Pro: có gói miễn phí (xem trang chính thức để biết chi tiết).
Cơ Chế Tokenization
Các mô hình AI chia văn bản thành token bằng các thuật toán như BPE (Byte Pair Encoding) hoặc WordPiece. Từ thường gặp là 1 token, từ hiếm được chia thành nhiều token. Emoji và ký tự đặc biệt có thể trở thành nhiều token cho một ký tự.
Token Đầu Vào và Token Đầu Ra
Trong AI API, phí khác nhau giữa đầu vào (prompt) và đầu ra (văn bản được tạo). Thông thường, token đầu ra đắt hơn (ví dụ: trong GPT-4 đầu ra gấp đôi đầu vào). Để tối ưu hóa chi phí, giới hạn số token đầu ra (tham số max_tokens) có hiệu quả.
Độ Chính Xác Tính Toán Của Công Cụ Này
Công cụ này mô phỏng hoạt động của tokenizer chính thức của mỗi mô hình, nhưng không đảm bảo khớp hoàn toàn. Để có số token chính xác, vui lòng xác minh bằng các công cụ chính thức của mỗi API (tiktoken của OpenAI, Claude Tokenizer của Anthropic, v.v.). Độ chính xác đủ để ước tính.