토큰 이해하기: AI 모델은 실제로 텍스트를 어떻게 '읽는가'
2026년 9월 17일
모든 대규모 언어 모델의 가격, 컨텍스트 윈도우, 심지어 철자나 수학에서 보이는 이상한 행동 일부까지 하나의 개념으로 거슬러 올라갑니다. 바로 토큰입니다. 토큰은 단어도, 글자도, 정확히 음절도 아닙니다. 모델별 압축 방식이며, 그 작동 원리를 이해하면 그렇지 않으면 제멋대로로 보이는 AI 행동의 놀랄 만큼 많은 부분이 설명됩니다.
단어가 아니라면 토큰이란 정확히 무엇입니까?
토큰은 텍스트의 조각입니다. 때로는 흔한 단어 하나 전체, 때로는 단어의 일부, 때로는 글자 하나이며, 학습 데이터에서 가장 자주 나오는 텍스트 조각을 최대한 효율적으로 표현하도록 학습된 토크나이저가 결정합니다. 'the'나 'cat' 같은 흔한 영어 단어는 보통 토큰 하나이고, 덜 흔하거나 합성된 단어는 흔히 두세 개로 나뉩니다(예: 'tokenization'은 'token' + 'ization'이 될 수 있음). 영어의 대략적인 경험칙으로 토큰 하나는 보통 약 4글자 또는 단어의 약 ¾로 추정되지만, 이는 모델마다 다르며 언제나 근사치일 뿐입니다.
AI API 가격은 왜 단어나 요청 단위가 아니라 토큰 단위로 책정됩니까?
단어가 아니라 토큰이 말 그대로 모델이 내부적으로 처리하는 단위이기 때문입니다. 입력되고 생성되는 모든 토큰이 연산을 소비하므로, 청구하기에 가장 직접적이고 공정한 단위입니다. 토큰당 가격 책정은 또한 제공자가 입력과 출력에 다른 요금을 매길 수 있게 해 주는데(생성은 보통 읽기보다 연산 집약적), 그래서 대부분의 AI API 가격표는 요청당 단일 정액이 아니라 입력 토큰 요율과 출력 토큰 요율을 따로 표시합니다.
일부 언어는 왜 영어보다 문장당 비용이 눈에 띄게 더 듭니까?
대부분의 주요 토크나이저가 영어 텍스트가 지배적인 데이터셋으로 학습되었기 때문에, 영어 단어는 불균형적으로 단일하고 효율적인 토큰에 대응될 가능성이 높습니다. 문자 체계나 형태론이 다른 언어(많은 CJK 언어, 또는 단어 합성이 광범위한 언어)는 종종 덜 효율적으로 토큰화되어, 영어에서 토큰 하나 분량의 의미를 표현하는 데 두 개, 세 개 또는 그 이상의 토큰이 필요하기도 합니다. 실질적인 효과는 같은 문장을 번역했을 때 한 언어에서 다른 언어보다 토큰(따라서 API 가격)이 의미 있게 더 들 수 있다는 것으로, 이는 콘텐츠의 실제 복잡도가 아니라 순전히 토크나이저가 학습된 방식의 부산물입니다.
모델의 '컨텍스트 윈도우'는 실제로 무엇을 제한합니까?
컨텍스트 윈도우는 모델이 한 번에 고려할 수 있는 최대 토큰 수로, 입력(시스템 프롬프트, 대화 기록, 제공된 문서)과 생성하는 응답을 합친 것입니다. 단독으로 '얼마나 많이 물어볼 수 있는지'의 제한이 아니라, 그 한 번의 교환에서 모델이 읽어야 하는 모든 것과 생성하는 모든 것에 걸친 공유 예산입니다. 긴 대화 기록이나 크게 붙여 넣은 문서는 모델이 응답 한 단어를 생성하기도 전에 컨텍스트 윈도우 대부분을 소비할 수 있으며, 그래서 매우 긴 대화는 때로 초반 세부 사항을 놓칩니다. 단순히 토큰 예산에서 밀려난 것입니다.