인간은 문장 속 단어를 보며 직관적으로 의미를 읽어낸다. 하지만 AI는 우리가 모니터에 입력한 ‘안녕하세요’라는 글자를 있는 그대로 단 한 자도 읽지 못한다. AI가 텍스트를 처리하기 위해 문장을 잘게 쪼개는 최소 정보 단위, 즉 ‘토큰(Token)’의 세계를 들여다보면 생성형 AI의 작동 원리와 비용 구조가 명확히 보이기 시작한다.
AI는 왜 Token(토큰)으로 문장을 이해할까?
사람은 어릴 때부터 언어를 배우며 문맥을 통째로 이해한다. 반면 컴퓨터의 본질은 계산기다. 텍스트를 인간처럼 뇌로 받아들이는 것이 불가능하다는 뜻이다. 컴퓨터가 글자를 처리하려면 인간의 문장을 수식으로 계산할 수 있는 형태로 먼저 분해해야 한다.
우리가 챗GPT에 ‘안녕하세요’라고 입력하면 AI는 이를 하나의 문자열로 보지 않는다. 인공지능은 이 짧은 인사말조차 여러 개의 조각으로 쪼개어 받아들인다. 글자 그 자체가 아니라 계산 가능한 상태로 변환하는 과정이 반드시 필요하기 때문이다.
토큰의 진짜 정체
토큰은 글자도 아니고 단어도 아니다. 문장을 구성하는 요소 중 AI가 이해할 수 있는 ‘최소 정보 단위’다. 토큰은 AI가 문장을 처리하기 위해 사용하는 최소 계산 단위이다.
언어학에서 말하는 형태소와 유사하지만 기술적으로는 조금 다르다. 세상에는 새로운 단어와 고유명사가 계속 만들어진다. 모든 단어를 미리 등록하는 방식은 비효율적이기 때문에 AI는 자주 등장하는 문자 조각을 조합하는 방식을 사용한다. 따라서 AI는 자주 쓰는 문자 조합을 미리 약속된 조각으로 나누어 관리하는데 이를 토큰이라 부른다.
AI 모델마다 Token(토큰)이 다른 이유
토큰이 어떻게 나뉘는지 실제 예시를 보면 쉽게 감이 온다.
영어 문장 Hello World를 입력하면 AI는 보통 Hello와 World라는 두 개의 토큰으로 깔끔하게 분리한다. 단어 단위로 쪼개지는 편이다. Artificial Intelligence 역시 사전에 등록된 대로 Artificial과 Intelligence로 나뉜다.
반면 한글은 사정이 조금 다르다. ‘안녕하세요’도 하나의 토큰이 아니라 여러 개의 토큰으로 분리되는 경우가 많다. OpenAI의 GPT 모델, Google Gemini, Anthropic Claude는 각각 서로 다른 토크나이저와 Vocabulary를 사용하기 때문에 같은 문장이라도 토큰 분할 결과가 달라질 수 있다.
AI 세계의 공통 언어
토큰이 중요한 이유는 AI의 모든 메커니즘이 이 단위를 기준으로 작동하기 때문이다. 우리가 질문을 넣는 입력 토큰, AI가 답변을 생성하는 출력 토큰 모두 숫자로 계산된다.
API에서는 입력 토큰(Input Token)과 출력 토큰(Output Token)을 각각 계산한다.
AI가 한 번에 기억할 수 있는 대화의 용량인 컨텍스트 윈도우도 토큰 기준으로 제한된다.AI의 응답 속도 역시 초당 몇 개의 토큰을 생성하는지(TPS, Tokens Per Second) 로 표현하는 경우가 많다. 결국 토큰은 인공지능 생태계에서 통용되는 유일한 공통 언어인 셈이다.
AI는 왜 Token(토큰) 기준으로 비용을 계산할까?
많은 사용자가 “질문은 똑같이 한 번 했는데 왜 비용이 다르게 나올까?”라는 의문을 가집니다. “안녕”이라는 짧은 질문과 5,000줄짜리 프로그래밍 코드를 검토해 달라는 질문은 겉보기엔 똑같은 한 번의 요청이다.
하지만 AI 내부에서 벌어지는 연산량은 완전히 다르다. 전자는 단 몇 개의 토큰만 계산하면 되지만 후자는 수만 개의 토큰을 동시에 펼쳐놓고 수학적 행렬 연산을 돌려야 한다. GPU 연산 자원을 얼마나 사용했는지를 반영해야 하므로 OpenAI나 구글 같은 빅테크 기업들은 철저히 토큰 수를 기준으로 비용을 청구한다.
Context Window와 Token의 관계
토큰은 자연스럽게 AI의 작업 기억(Working Memory)으로 연결된다. 흔히 말하는 컨텍스트 윈도우는 쉽게 말해 AI가 한 번에 머릿속에 띄워놓을 수 있는 최대 토큰 수다.
대화가 길어져서 이 지정된 토큰 용량을 넘어서면 AI는 이전 대화 내용을 기억하지 못하고 잊어버린다. 아무리 똑똑한 모델이라도 처리할 수 있는 토큰 주머니의 크기가 작다면 장문의 책 한 권을 통째로 읽고 분석하는 작업을 수행할 수 없다.
Token은 어떻게 Embedding으로 변환될까?
컴퓨터가 토큰을 쪼갰다고 해서 곧바로 그 뜻을 아는 것은 아니다. 쪼개진 토큰은 먼저 고유한 ID 번호로 바뀐다. 그 후 이 숫자들이 인공지능 내부 공간에서 ‘임베딩(Embedding)’이라는 고차원 벡터 좌표로 변환된다.
이 좌표 공간 속에서 ‘왕’과 ‘여왕’, ‘호랑이’와 ‘고양이’의 거리가 가깝게 배치되면서 AI는 비로소 단어 사이의 의미적 유사성을 알아챈다. 즉 토큰 그 자체는 의미가 없으며 의미를 표현하기 위한 숫자의 출발점일 뿐이다.
Token(토큰)에 대한 대표적인 오해
가장 흔한 오해는 토큰을 글자 수나 단어 수와 동일하게 생각하는 것이다. 띄어쓰기 하나, 마침표 하나, 심지어 문장 끝에 붙인 이모지 하나가 내부적으로 몇 개의 토큰으로 폭발할지 모른다.
같은 한국어 문장이라도 어떤 인공지능 모델을 쓰느냐에 따라 측정되는 토큰 숫자가 널을 뛴다. 글자 수만 믿고 프롬프트를 작성하다가는 예상치 못한 비용 폭탄을 맞거나 AI의 기억 용량을 초과해 버리는 실수를 범하게 된다.
구독형 AI도 Token(토큰)을 계산할까?
우리가 일상에서 쓰는 챗GPT 플러스나 클로드 프로 같은 서비스는 매달 일정 금액을 내는 월 구독제 형태를 띱니다. 그래서 일반 사용자들은 토큰의 존재를 체감하기 어렵다.
하지만 이는 기업들이 일반 대중의 편의를 위해 UI 겉면에 구독이라는 포장지를 씌워둔 것에 불과하다. 기업용 API 서비스는 물론이고 우리가 쓰는 웹 화면 너머에서도 AI는 철저하게 토큰 단위로 실시간 자원 사용량을 통제하고 관리하고 있다. 기업들은 더 효율적인 토크나이저(Tokenizer)와 Vocabulary(어휘 집합)을 개발하기 위해 지속적으로 연구하고 있다.
AI는 처음부터 토큰을 이해하는 것이 아니라, 토크나이저(Tokenizer)가 먼저 문장을 토큰으로 분해한 뒤 모델에 전달한다.
토큰으로 연결될 새로운 세상
인간은 세상을 눈에 보이는 사물과 머릿속 개념으로 인식한다. 반면 AI는 텍스트 토큰을 시작으로 숫자와 벡터를 거쳐 세상을 이해하기 시작했다. 앞으로 다가올 피지컬 AI(Physical AI) 시대에는 카메라 영상, 인간의 음성, 센서 데이터까지 모두 고유한 ‘토큰’ 형태로 변환되어 AI의 뇌로 흘러 들어갈 것이다. 미래의 디지털 생명체를 이해하고 제어하려면 AI가 세상을 어떤 최소 단위로 분해해서 바라보는지 그 시선을 먼저 이해해야 한다.
Token(토큰)은 AI가 세상을 이해하는 최소 정보 단위
토큰은 단순히 인공지능 서비스 요금을 계산하기 위한 과금 단위가 아니다. 컴퓨터가 인간의 언어를 부수고 해체하여 자신의 지능 속으로 흡수하는 첫 번째 관문이자, AI가 세상을 계산하고 표현하기 시작하는 가장 작은 정보 단위이다.
[글에서 사용한 머리 아픈 용어]
- 컨텍스트 윈도우 (Context Window): AI 모델이 대화를 나눌 때 한 번에 기억하고 처리할 수 있는 입력과 출력 토큰의 총 용량이다.
- 임베딩 (Embedding): 토큰화된 단어들을 컴퓨터가 이해할 수 있도록 다차원의 숫자 좌표로 변환하여 단어 간의 의미적 거리를 계산하는 기술이다.
- 피지컬 AI (Physical AI): 소프트웨어 속에만 존재하는 AI를 넘어 로봇이나 자율주행차처럼 물리적인 현실 세계와 직접 상호작용하는 인공지능이다.
※ 특정 산업이나 자산에 대한 투자 판단은 본인의 책임 하에 신중히 결정하시기 바랍니다.