AIトークンとは、大規模言語モデル（LLM）がテキストを処理する際に使用する最小単位です。文字数とは異なり、トークン数は言語やモデルによって変化します。
トークンの定義
トークンは単語、単語の一部、句読点、記号などの単位です。英語では「Hello」= 1トークン、日本語では「こんにちは」= 通常2-3トークンです。スペースや改行もトークンとしてカウントされます。
トークンと文字の違い
英語：約4文字 = 1トークン、日本語：約1.5-2文字 = 1トークン、コード：構文により変動。例：「Hello World」（11文字）= 2トークン、「こんにちは世界」（7文字）= 4-5トークン。
トークン数が重要な理由
AI APIの料金はトークン数に基づいています（例：GPT-4は1000トークンあたり$0.03）。各モデルにはトークン制限があり（GPT-4 8K = 8192トークン）、超えるとエラーが発生します。トークン数の理解は効率的なプロンプト設計に不可欠です。
主要AIモデルのトークン制限
GPT-4 (8K): 8,192トークン、GPT-4 (32K): 32,768トークン、GPT-4 Turbo: 128,000トークン、GPT-3.5 Turbo: 16,385トークン、Claude 3: 200,000トークン、Gemini Pro: 32,768トークン、Gemini Ultra: 100,000トークン（予定）。
主要AIモデルの料金比較
GPT-4: 入力 $0.03/1K、出力 $0.06/1K、GPT-4 Turbo: 入力 $0.01/1K、出力 $0.03/1K、GPT-3.5 Turbo: 入力 $0.0005/1K、出力 $0.0015/1K、Claude 3 Opus: 入力 $0.015/1K、出力 $0.075/1K、Claude 3 Sonnet: 入力 $0.003/1K、出力 $0.015/1K、Gemini Pro: 無料枠あり（公式ドキュメント参照）。
トークン化の仕組み
AIモデルはBPE（Byte Pair Encoding）やWordPieceなどのアルゴリズムを使用してテキストをトークンに分割します。一般的な単語は1トークンになり、珍しい単語は複数のトークンに分割されます。絵文字や特殊文字は1文字で複数トークンになることがあります。
入力トークンと出力トークン
AI APIは入力（プロンプト）と出力（生成テキスト）で料金が異なります。出力トークンは通常より高価です（例：GPT-4の出力は入力の2倍）。コスト最適化には、max_tokensパラメータで出力トークンを制限します。
このツールの精度
このツールは各モデルの公式トークナイザーをシミュレートしていますが、完全な精度は保証されません。正確なトークン数には公式ツール（OpenAIのtiktoken、AnthropicのClaude Tokenizerなど）を使用してください。推定目的には十分な精度があります。