טוקנים של AI הם היחידה הקטנה ביותר בעת עיבוד טקסט על ידי מודלים לשוניים גדולים (LLM). שונה ממספר תווים ונספר בצורה שונה בהתאם לשפה ולמודל.
הגדרת טוקן
טוקנים הם יחידות של מילים, חלקי מילים, סימני פיסוק, סמלים וכו'. באנגלית "Hello" = 1 טוקן, ביפנית "こんにちは" = 2-3 טוקנים בדרך כלל. רווחים ושורות חדשות נספרים גם כטוקנים.
ההבדל בין טוקנים למספר תווים
אנגלית: בערך 4 תווים = 1 טוקן, יפנית: בערך 1.5-2 תווים = 1 טוקן, קוד: משתנה בהתאם לתחביר. דוגמה: "Hello World" (11 תווים) = 2 טוקנים, "こんにちは世界" (7 תווים) = 4-5 טוקנים.
למה מספר הטוקנים חשוב
עמלות AI API נקבעות על סמך מספר הטוקנים (דוגמה: GPT-4 הוא $0.03 ל-1000 טוקנים). כמו כן, לכל מודל יש מגבלת מספר טוקנים (GPT-4 8K = 8192 טוקנים), וחריגה מהמגבלה תגרום לשגיאה. הבנת מספר הטוקנים חיונית לתכנון פרומפטים יעיל.
מגבלות מספר הטוקנים של מודלים עיקריים של AI
GPT-4 (8K): 8,192 טוקנים, GPT-4 (32K): 32,768 טוקנים, GPT-4 Turbo: 128,000 טוקנים, GPT-3.5 Turbo: 16,385 טוקנים, Claude 3: 200,000 טוקנים, Gemini Pro: 32,768 טוקנים, Gemini Ultra: 100,000 טוקנים (צפוי).
השוואת מחירים של מודלים עיקריים של AI
GPT-4: קלט $0.03/1K, פלט $0.06/1K, GPT-4 Turbo: קלט $0.01/1K, פלט $0.03/1K, GPT-3.5 Turbo: קלט $0.0005/1K, פלט $0.0015/1K, Claude 3 Opus: קלט $0.015/1K, פלט $0.075/1K, Claude 3 Sonnet: קלט $0.003/1K, פלט $0.015/1K, Gemini Pro: תוכנית חינמית זמינה (עיין באתר הרשמי לפרטים).
מנגנון טוקניזציה
מודלים של AI מחלקים טקסט לטוקנים באמצעות אלגוריתמים כמו BPE (Byte Pair Encoding) או WordPiece. מילים נפוצות הן 1 טוקן, מילים נדירות מתחלקות למספר טוקנים. אימוג'י ותווים מיוחדים יכולים להפוך למספר טוקנים לתו אחד.
טוקני קלט וטוקני פלט
ב-AI API, העמלות שונות בין קלט (פרומפט) לפלט (טקסט שנוצר). בדרך כלל, טוקני פלט יקרים יותר (דוגמה: ב-GPT-4 פלט כפול מקלט). לאופטימיזציה של עלות, הגבלת מספר טוקני הפלט (פרמטר max_tokens) יעילה.
דיוק החישוב של כלי זה
כלי זה מדמה את פעולת הטוקנייזר הרשמי של כל מודל, אך אינו מבטיח התאמה מלאה. למספר טוקנים מדויק, אנא אמת עם הכלים הרשמיים של כל API (tiktoken של OpenAI, Claude Tokenizer של Anthropic וכו'). הדיוק מספיק להערכה.