AI 추론(Inference)은 우리가 스마트폰이나 PC에서 사용하는 ChatGPT가 답을 만들어내는 핵심 과정이다. 사용자가 던진 질문 한 줄은 인터넷 선을 타고 수만 개의 AI 반도체가 얽혀 있는 거대 데이터센터로 전송되어 초고속 연산을 거친다. AI 서비스는 소프트웨어와 하드웨어가 결합된 산업이지만, 오늘날 경쟁력을 결정하는 핵심은 수만 개의 AI 반도체와 데이터센터 인프라다.
ChatGPT는 내 PC에서 돌아가지 않는다
스마트폰 화면 속 챗봇은 가볍게 움직인다. 질문을 던지면 1초 만에 술술 답을 출력한다. 하지만 이 모든 계산은 내 기기 안에서 일어나는 일이 아니다.
우리가 입력한 문장은 곧바로 인터넷망을 타고 수만 평 규모의 AI 데이터센터로 날아간다. 그곳에는 거대한 냉각 장치와 수천 대의 AI 서버가 24시간 내내 돌고 있다. 화면 뒤에 숨겨진 거대한 반도체 빌딩이 대신 머리를 굴려 대답을 배달해 주는 구조다.
거대한 AI 서버 내부 들여다보기
컴퓨터 본체 내부를 열어보면 중앙처리장치(CPU)와 그래픽카드(GPU)가 꽂혀 있다. AI 데이터센터에 꽉 차 있는 서버도 본질은 같다. 다만 그 체급과 구성이 일반 PC와 완전히 다를 뿐이다.
중심에서 전체 시스템을 통제하는 CPU가 있고, 그 주변을 거대한 AI 반도체들이 빽빽하게 둘러싸고 있다. 엔비디아의 블랙웰, 화웨이의 어센드, AMD의 인스팅트 같은 핵심 가속기들이 한 서버에 보통 8개씩 한 팀으로 묶인다. 여기에 초고속 메모리(RAM)와 저장장치(SSD)가 뼈대를 이루며 하나의 거대한 연산 괴물을 완성한다.
질문 하나에 발동하는 반도체 이어달리기
우리가 챗봇 창에 문장을 입력하는 순간 서버 내부에서는 치열한 업무 분담이 시작된다. 가장 먼저 서버의 관리자인 CPU가 사용자의 질문을 받는다.
입력된 문장은 토큰(Token)이라는 작은 단위의 숫자로 변환된 뒤 GPU가 계산할 수 있는 형태로 전달된다. 토큰을 전달 받은 AI 반도체들은 수천억 번의 수학 계산을 동시에 수행한다. 문맥을 파악하고 가장 어울리는 다음 단어를 찾아내는 과정이다. 계산이 끝나면 GPU는 결과값을 다시 CPU에게 돌려주고, CPU가 이를 우리가 읽을 수 있는 문장으로 조립해 화면에 띄운다.
GPU 하나로 감당할 수 없는 초거대 연산
아무리 성능이 좋은 최첨단 GPU라도 혼자서는 최신 AI 모델을 감당하지 못한다. AI가 다뤄야 할 매개변수의 양이 단일 반도체의 메모리 용량을 한참 초과하기 때문이다.
예컨대 ChatGPT의 기반이 된 GPT-3 모델처럼 1,750억 개의 매개변수를 가진 AI를 FP16(16비트 부동소수점) 정밀도로 구동하려면, 단순 계산으로도 순수 모델 가중치를 담는 데만 약 350GB의 고속 메모리(VRAM)가 필요하다. 현존하는 최고급 서버용 칩인 엔비디아 A100이나 H100의 단일 메모리가 80GB 수준임을 감안하면, 칩 1개로는 AI 모델을 뇌에 얹어보지도 못하고 컴퓨터가 멈춘다는 뜻이다. 결국 최소 5대 이상의 GPU가 한 팀으로 묶여야 비로소 첫 번째 답변 출력이 시작될 수 있다.
그래서 하나의 질문을 처리할 때도 여러 개의 GPU가 동시에 움직인다. GPU 1호가 문장의 앞부분을 계산하는 동안, GPU 2호와 3호가 중간과 뒷부분을 나누어 맡는다. 반도체들이 서로 데이터를 주고받으며 거대한 하나의 뇌처럼 움직여야 겨우 답변 한 줄이 완성된다.
수천 대의 서버를 묶어 만든 하나의 거대한 뇌
반도체 몇 개를 묶는 수준을 넘어, 이제는 서버 자체를 수천 대 단위로 연결해야 한다. GPT 같은 거대 모델은 데이터 용량 자체가 워낙 커서 서버 한두 대에는 들어가지도 않는다.
[ AI 서버 101동 ] ════ [ AI 서버 102동 ] ════ [ AI 서버 103동 ]
║ ║ ║
[ AI 서버 201동 ] ════ [ AI 서버 202동 ] ════ [ AI 서버 203동 ]
수천 대의 서버가 광케이블로 촘촘하게 연결되어 거대한 단일 시스템처럼 작동한다. 한 대의 서버가 막히면 전체 답변 속도가 느려지기 때문에, 서버 간의 통신 속도를 극대화하는 인프라 기술이 칩 성능만큼 중요해졌다. 이 거대한 연결망이 우리가 아는 초거대 AI의 진짜 실체다.
그렇기에 이는 단순히 중소기업이나 웬만한 대기업 수준에서 도전할 수 있는 영역이 아니다. 한 해에 수십조 원의 현찰을 인프라에만 고스란히 쏟아부을 수 있는 극소수의 글로벌 빅테크 기업이 아니라면, 이 거대한 연결망의 장벽 뒤편에 서서 그들이 만든 AI를 빌려 쓰는 것 외에는 선택지가 없다.
이미 공부를 끝낸 인공지능이 답을 추론하는 방식
AI가 작동하는 방식은 크게 ‘추론’과 ‘학습’ 두 가지로 나뉜다. 우리가 일상에서 ChatGPT를 쓰며 답변을 받아보는 과정은 모두 추론(Inference) 영역이다.
추론은 이미 교과서를 통째로 외운 AI에게 문제를 출제하는 것과 같다. 사용자가 질문을 입력하면, GPU는 이미 머릿속에 저장된 수천억 개의 확률 지도를 바탕으로 계산을 시작한다. 그리고 지금 문장 뒤에 오기에 가장 확률이 높은 ‘다음 단어(토큰)’를 한 글자씩 예측하며 답을 만들어낸다.
수만 개의 반도체가 몇 달 동안 매달리는 학습
반면 추론을 가능하게 만들기 위해 밑바닥부터 지식을 주입하는 과정을 학습(Training)이라고 부른다. 이 단계에서는 들어가는 비용과 장비의 스케일이 수십 배로 뛴다.
인터넷에 존재하는 수조 개의 텍스트 데이터를 수만 개의 하이엔드 GPU에 동시에 집어넣는다. 반도체들은 몇 달 동안 쉬지 않고 전기를 쓰며 단어들의 연관 관계를 계산한다. 이 가혹한 연산 과정을 버텨내고 천문학적인 전력 비용을 치르고 나서야 비로소 하나의 AI 모델이 탄생한다.
병목 현상을 해결하는 초고속 도로 고대역폭 메모리
AI 반도체가 아무리 똑똑해도 데이터를 가져오는 길이 막히면 아무 소용이 없다. GPU가 연산을 아무리 빨리 끝내도, 메모리에서 다음 데이터를 보내주지 않으면 GPU는 놀면서 기다려야 한다. 이 심각한 병목 현상을 해결하기 위해 등장한 것이 바로 고대역폭 메모리(HBM)다.
HBM은 데이터가 오가는 통로를 기존보다 수십 배 넓힌 초고속 도로다. GPU 바로 옆에 메모리를 바짝 붙여 데이터 전송 지연을 극한으로 줄였다. HBM의 수급 속도와 기술력에 따라 전체 AI 서버의 실전 연산 효율이 완전히 춤을 추는 이유가 여기 있다.
소프트웨어의 탈을 쓴 거대한 인프라 하드웨어 산업
결국 우리가 경험하는 매끄러운 AI 서비스의 본질은 고도의 물리적 하드웨어 산업이다. 화면 속 화면은 부드러운 소프트웨어처럼 보이지만, 그 바탕에는 수천 대의 AI 서버와 수만 개의 반도체, 그리고 엄청난 전력망이 단 1초도 쉬지 않고 맞물려 돌아가는 현실의 공장이 존재한다. 데이터센터라는 거대한 물리적 요새를 짓고 그 안에 성능 좋은 칩을 얼마나 촘촘하게 채워 넣을 수 있느냐가 미래 AI 시장의 패권을 결정짓는 진짜 커튼 뒤의 전쟁이다.
[글에서 사용한 머리 아픈 용어]
- 추론 (Inference): 이미 학습을 완료한 AI 모델이 사용자의 새로운 질문을 받아 답을 찾아내고 출력하는 실전 적용 과정이다.
- 매개변수 (Parameter): AI가 지식을 저장하는 뇌의 시냅스 같은 존재다. 이 숫자가 많을수록 AI가 더 똑똑하고 복잡한 문장을 이해할 수 있지만, 그만큼 엄청난 반도체 메모리가 필요하다.
- HBM (고대역폭 메모리): 메모리 칩을 아파트처럼 수직으로 높게 쌓아 올려 데이터가 오가는 길을 넓힌 반도체다. GPU의 빠른 연산 속도에 맞춰 대량의 데이터를 막힘없이 퍼다 주는 역할을 한다.
※ 특정 산업이나 자산에 대한 투자 판단은 본인의 책임 하에 신중히 결정하시기 바랍니다.