โทเค็น AI คือหน่วยที่เล็กที่สุดเมื่อโมเดลภาษาขนาดใหญ่ (LLM) ประมวลผลข้อความ แตกต่างจากจำนวนอักขระและนับแตกต่างกันตามภาษาและโมเดล
คำนิยามของโทเค็น
โทเค็นคือหน่วยของคำ, ส่วนของคำ, เครื่องหมายวรรคตอน, สัญลักษณ์ ฯลฯ ในภาษาอังกฤษ "Hello" = 1 โทเค็น, ในภาษาญี่ปุ่น "こんにちは" = 2-3 โทเค็นโดยทั่วไป ช่องว่าง, บรรทัดใหม่ก็นับเป็นโทเค็นด้วย
ความแตกต่างระหว่างโทเค็นและจำนวนอักขระ
อังกฤษ: ประมาณ 4 อักขระ = 1 โทเค็น, ญี่ปุ่น: ประมาณ 1.5-2 อักขระ = 1 โทเค็น, โค้ด: แตกต่างกันตามไวยากรณ์ ตัวอย่าง: "Hello World" (11 อักขระ) = 2 โทเค็น, "こんにちは世界" (7 อักขระ) = 4-5 โทเค็น
ทำไมจำนวนโทเค็นจึงสำคัญ
ค่าธรรมเนียม AI API ถูกกำหนดตามจำนวนโทเค็น (ตัวอย่าง: GPT-4 คือ $0.03 ต่อ 1000 โทเค็น) นอกจากนี้, แต่ละโมเดลมีขีดจำกัดจำนวนโทเค็น (GPT-4 8K = 8192 โทเค็น), และการเกินขีดจำกัดจะทำให้เกิดข้อผิดพลาด การเข้าใจจำนวนโทเค็นเป็นสิ่งจำเป็นสำหรับการออกแบบพรอมต์ที่มีประสิทธิภาพ
ขีดจำกัดจำนวนโทเค็นของโมเดล AI หลัก
GPT-4 (8K): 8,192 โทเค็น, GPT-4 (32K): 32,768 โทเค็น, GPT-4 Turbo: 128,000 โทเค็น, GPT-3.5 Turbo: 16,385 โทเค็น, Claude 3: 200,000 โทเค็น, Gemini Pro: 32,768 โทเค็น, Gemini Ultra: 100,000 โทเค็น (คาดว่า)
การเปรียบเทียบราคาของโมเดล AI หลัก
GPT-4: อินพุต $0.03/1K, เอาต์พุต $0.06/1K, GPT-4 Turbo: อินพุต $0.01/1K, เอาต์พุต $0.03/1K, GPT-3.5 Turbo: อินพุต $0.0005/1K, เอาต์พุต $0.0015/1K, Claude 3 Opus: อินพุต $0.015/1K, เอาต์พุต $0.075/1K, Claude 3 Sonnet: อินพุต $0.003/1K, เอาต์พุต $0.015/1K, Gemini Pro: มีแผนฟรี (ดูรายละเอียดที่เว็บไซต์อย่างเป็นทางการ)
กลไกการทำโทเค็นไนเซชัน
โมเดล AI แบ่งข้อความเป็นโทเค็นโดยใช้อัลกอริทึมเช่น BPE (Byte Pair Encoding) หรือ WordPiece คำที่พบบ่อยคือ 1 โทเค็น, คำหายากจะถูกแบ่งเป็นหลายโทเค็น อิโมจิและอักขระพิเศษอาจกลายเป็นหลายโทเค็นต่ออักขระหนึ่งตัว
โทเค็นอินพุตและโทเค็นเอาต์พุต
ใน AI API, ค่าธรรมเนียมแตกต่างกันระหว่างอินพุต (พรอมต์) และเอาต์พุต (ข้อความที่สร้างขึ้น) โดยทั่วไป, โทเค็นเอาต์พุตจะแพงกว่า (ตัวอย่าง: ใน GPT-4 เอาต์พุตแพงกว่าอินพุต 2 เท่า) สำหรับการเพิ่มประสิทธิภาพต้นทุน, การจำกัดจำนวนโทเค็นเอาต์พุต (พารามิเตอร์ max_tokens) มีประสิทธิภาพ
ความแม่นยำของการคำนวณของเครื่องมือนี้
เครื่องมือนี้จำลองการทำงานของโทเค็นไนเซอร์อย่างเป็นทางการของแต่ละโมเดล, แต่ไม่รับประกันความตรงกันอย่างสมบูรณ์ สำหรับจำนวนโทเค็นที่แม่นยำ, โปรดตรวจสอบด้วยเครื่องมืออย่างเป็นทางการของแต่ละ API (tiktoken ของ OpenAI, Claude Tokenizer ของ Anthropic ฯลฯ) ความแม่นยำเพียงพอสำหรับการประมาณ