AI 토큰은 대규모 언어 모델(LLM)이 텍스트를 처리할 때 사용하는 최소 단위입니다. 문자 수와 달리 토큰 수는 언어와 모델에 따라 변합니다.
토큰의 정의
토큰은 단어, 단어의 일부, 구두점, 기호 등의 단위입니다. 영어에서 "Hello" = 1 토큰, 한글에서 "안녕하세요" = 일반적으로 2-3 토큰입니다. 공백과 줄 바꿈도 토큰으로 계산됩니다.
토큰과 문자의 차이
영어: 약 4자 = 1 토큰, 한글: 약 1.5-2자 = 1 토큰, 코드: 구문에 따라 변동. 예: "Hello World" (11자) = 2 토큰, "안녕하세요 세계" (8자) = 4-5 토큰.
토큰 수가 중요한 이유
AI API 가격은 토큰 수를 기반으로 합니다(예: GPT-4는 1000 토큰당 $0.03). 각 모델에는 토큰 제한이 있으며(GPT-4 8K = 8192 토큰), 이를 초과하면 오류가 발생합니다. 토큰 수 이해는 효율적인 프롬프트 설계에 필수적입니다.
주요 AI 모델의 토큰 제한
GPT-4 (8K): 8,192 토큰, GPT-4 (32K): 32,768 토큰, GPT-4 Turbo: 128,000 토큰, GPT-3.5 Turbo: 16,385 토큰, Claude 3: 200,000 토큰, Gemini Pro: 32,768 토큰, Gemini Ultra: 100,000 토큰(예정).
주요 AI 모델의 가격 비교
GPT-4: 입력 $0.03/1K, 출력 $0.06/1K, GPT-4 Turbo: 입력 $0.01/1K, 출력 $0.03/1K, GPT-3.5 Turbo: 입력 $0.0005/1K, 출력 $0.0015/1K, Claude 3 Opus: 입력 $0.015/1K, 출력 $0.075/1K, Claude 3 Sonnet: 입력 $0.003/1K, 출력 $0.015/1K, Gemini Pro: 무료 티어 제공(공식 문서 참조).
토큰화 작동 방식
AI 모델은 BPE(Byte Pair Encoding) 또는 WordPiece와 같은 알고리즘을 사용하여 텍스트를 토큰으로 분할합니다. 일반적인 단어는 1 토큰이 되고, 희귀한 단어는 여러 토큰으로 분할됩니다. 이모티콘과 특수 문자는 문자당 여러 토큰이 될 수 있습니다.
입력 토큰과 출력 토큰
AI API는 입력(프롬프트)과 출력(생성된 텍스트)에 대해 다르게 청구합니다. 출력 토큰은 일반적으로 더 비쌉니다(예: GPT-4 출력은 입력의 2배). 비용 최적화를 위해 max_tokens 매개변수로 출력 토큰을 제한하세요.
이 도구의 정확도
이 도구는 각 모델의 공식 토크나이저를 시뮬레이션하지만 완벽한 정확도를 보장하지는 않습니다. 정확한 토큰 수를 위해서는 공식 도구(OpenAI의 tiktoken, Anthropic의 Claude Tokenizer 등)를 사용하세요. 추정 목적으로는 충분한 정확도를 제공합니다.