AI는 왜 돈을 계속 먹을까? 저장의 시대에서 연산의 시대로

장밋빛 미래 뒤에 숨겨진 천문학적 고지서

인공지능(AI)은 현대의 연금술처럼 보인다.
몇 줄의 명령만으로 이미지와 코드, 인간의 언어까지 만들어낸다.

이 화려한 기술 뒤에는 막대한 비용 구조가 숨어 있다.
지금의 AI 경쟁은 결국 누가 더 똑똑한가보다, 누가 더 거대한 비용을 감당할 수 있는가에 가까워지고 있다.

인터넷 시대 vs AI 시대: 기술 패러다임의 비교

1990년대와 2000년대 초반, 인터넷 시대의 핵심은 ‘연결(Connectivity)’이었다. 서버에 저장된 정보를 사용자에게 효율적으로 전달하는 것이 지상 과제였다. 당시의 혁신은 중앙 집중형 데이터를 어떻게 하면 더 빨리 뿌려줄 수 있느냐에 집중되었다. 반면, AI 시대의 핵심은 ‘추론(Inference)’과 ‘학습(Training)’이다. 단순히 저장된 데이터를 보여주는 것이 아니라, 수조 개의 파라미터를 계산하여 새로운 결과물을 ‘창조’해야 한다.

인터넷 시대에는 한 번 구축한 웹페이지를 수백만 명이 봐도 추가 비용이 거의 들지 않는 ‘한계 비용 제로’의 법칙이 어느 정도 통용되었다. 하지만 AI는 다르다. 사용자가 질문을 던질 때마다 GPU(그래픽 처리 장치)가 풀가동되어야 하며, 이는 곧 실시간 전력 소비와 하드웨어 노후화로 이어진다. 즉, AI는 사용자가 늘어날수록 비용이 선형적으로, 혹은 그 이상으로 폭증하는 구조를 갖고 있다.

인터넷은 데이터를 “저장”하는 기술이었다
AI는 데이터를 “계산”하는 기술이다

데이터 구조의 변화: 이메일함과 벡터 데이터베이스의 차이

데이터가 쌓이는 구조를 보면 왜 AI가 더 비싼지 명확해진다. 인터넷 시대의 대표 서비스인 이메일을 예로 들어보자. 이메일 데이터는 ‘텍스트’와 ‘첨부파일’로 구성된 정형/비정형 데이터다. 이를 저장하는 방식은 단순한 스토리지 박스에 차곡차곡 쌓아두는 방식이다. 검색 역시 키워드 기반의 인덱싱만 거치면 충분했다. 저장 비용은 하드디스크(HDD) 가격 하락에 따라 급격히 낮아졌다.

그러나 AI가 사용하는 데이터는 ‘벡터(Vector)’화된 데이터다. AI는 단어를 단어 그 자체로 이해하지 않고 수천 차원의 숫자로 변환하여 좌표 평면에 뿌린다. 이를 ‘벡터 임베딩’이라 한다. 사용자의 질문에 답하기 위해 AI는 이 거대한 숫자 더미 속에서 유사한 의미를 실시간으로 계산해내야 한다. 이 과정에서 필요한 것은 단순한 저장 공간이 아니라, 초고속 읽기/쓰기가 가능한 메모리와 이를 처리할 연산 능력이다. 이메일 1,000통을 저장하는 비용보다 AI가 질문 한 개를 처리하기 위해 뒤져야 하는 데이터 연산 비용이 훨씬 비싼 이유가 여기에 있다.

이메일은 저장 비용이 문제였고
AI는 계산 비용이 문제다

하드웨어의 역설: RAM의 진화와 천정부지로 솟는 비용

과거 인터넷 보급기(1990년대~2000년대)의 하드웨어 투자는 PC와 서버 보급에 집중되었다. 당시 RAM(DRAM)은 용량을 늘리는 데 주력했고, 기술 발전으로 인해 기가바이트(GB)당 가격은 매년 급락했다. 하지만 AI 시대의 주인공은 단순한 DRAM이 아닌 HBM(고대역폭 메모리)이다.

AI는 한꺼번에 엄청난 양의 데이터를 계산 장치(GPU)로 전달해야 한다. 기존의 RAM 방식으로는 병목 현상이 발생해 연산 속도를 따라갈 수 없다. 이에 따라 여러 개의 D램을 수직으로 쌓아 데이터 통로를 넓힌 HBM이 필수재가 되었다. 문제는 가격이다. HBM은 일반 D램보다 제조 공정이 훨씬 복잡하고 수율이 낮아 가격이 몇 배나 비싸다.

전력망 투자 역시 심각한 변수다. 과거 인터넷 데이터센터(IDC)가 단순히 서버를 식히는 수준의 냉각 시스템을 갖췄다면, AI 데이터센터는 일반 서버보다 전력을 10배 이상 잡아먹는 GPU 수만 개를 수용해야 한다. 이를 위해 변전소 하나를 통째로 짓거나 아예 원자력 발전소 인근에 센터를 구축하는 상황이다. 설비 투자(CAPEX) 규모가 인터넷 시대의 ‘서버실 증설’과는 비교도 안 되는 ‘국가 기간 시설 구축’ 수준으로 격상된 것이다.

실제 구조: SW 투자에서 인프라 전쟁으로

과거의 소프트웨어 투자는 코드를 잘 짜는 개발자 인건비가 큰 비중을 차지했다. 하지만 AI 소프트웨어 투자는 ‘데이터 확보’와 ‘컴퓨팅 자원 대여’가 주를 이룬다. 오픈AI(OpenAI) 같은 기업이 모델 하나를 훈련시키기 위해 수조 원을 쓰는 이유는 개발자 월급 때문이 아니라, 엔비디아의 칩을 사고 마이크로소프트의 클라우드 인프라를 사용하는 비용 때문이다.

인터넷 서비스는 가입자가 늘어나면 서버를 조금씩 증설하는 식으로 대응 가능했다. 그러나 대형 언어 모델(LLM)은 일단 임계점 이상의 하드웨어 인프라를 ‘선제적으로’ 구축해 놓지 않으면 서비스 자체가 불가능하다. 즉, 수익이 나기 전부터 천문학적인 매몰 비용(Sunk Cost)이 발생하며, 기술이 업데이트될 때마다 기존 하드웨어는 구식이 되어버리는 빠른 교체 주기까지 감당해야 한다.

실제 AI 시스템은 단순히 모델 하나로 돌아가지 않는다.
단말에서 1차 추론을 수행하고, 정확도가 떨어지는 경우 서버의 고성능 모델로 요청을 전달한다.
이 과정에서 발생한 데이터는 다시 학습으로 이어지며, 새로운 모델로 업데이트된다.

즉, AI는 한 번 만들고 끝나는 제품이 아니라,
사용 → 데이터 축적 → 재학습 → 배포가 반복되는 ‘피드백 루프 시스템’이다.

왜 AI 기업은 돈을 벌수록 더 많은 돈을 쓰는가

오픈AI는 폭발적인 매출 성장에도 불구하고 여전히 막대한 적자를 기록하고 있다.
문제는 AI 산업이 성장할수록 GPU, 데이터센터, 전력 비용까지 함께 폭증하는 구조에 있다.

특히 2024~2025년 AI 시장은 매출보다 지출 속도가 더 빠르게 증가하는 ‘AI 비용 전쟁’에 가까운 흐름으로 이동하고 있다.

1) 2024~2025년 매출 vs 손실 현황 (추정치)

오픈AI의 매출은 인터넷 기업 역사상 유례를 찾기 힘들 정도로 빠르게 성장하고 있지만, 지출 속도는 그보다 더 가파르다.

구분	2024년 (실적/추정)	2025년 (전망)	2026년 (전망)
연간 매출	약 37억 ~ 60억 달러	약 127억 ~ 200억 달러	약 250억 달러 이상
연간 손실	약 50억 달러	약 70억 ~ 80억 달러	약 140억 달러 (예상)
주요 특징	전년 대비 매출 3배 성장	매출 200억 달러 돌파	손실 폭이 매출 성장을 압도

• 성장의 역설: 2025년 매출이 200억 달러(약 29조 원)를 돌파하며 전년 대비 3배 이상 급증했으나, 같은 기간 서버 비용과 연구개발비(R&D)가 동시에 폭증하며 손익 구조는 오히려 악화되었다.

2) 왜 돈을 못 버는가? (구조적 원인)

① 제품보다 비싼 생산 단가 (마진의 문제)

오픈AI가 제공하는 서비스는 만들 때 들어가는 비용이 판매가보다 비싼 구조다.

• 추론 비용: 사용자가 질문을 던질 때마다 실시간으로 수조 개의 연산을 수행해야 하므로 전력과 GPU 자원이 소모된다.
• 낮은 이익률: 일반적인 클라우드 소프트웨어(SaaS) 기업의 매출총이익률이 65~70%인 반면, 오픈AI는 약 41% 수준에 불과해 인프라 비용을 감당하기 벅차다.

② 천문학적인 인프라 및 R&D 비용

오픈AI는 2030년까지 서버 운용비로만 약 4,500억 달러(약 630조 원)를 지출할 계획이다.

• 스타게이트 프로젝트: 오라클, 소프트뱅크와 함께 추진 중인 슈퍼컴퓨터 데이터센터 구축에만 5,000억 달러가 투입될 예정이다.
• 인재 전쟁: 엘리트 연구 인력을 유지하기 위한 인건비와 주식 보상 비용이 전체 지출의 큰 비중을 차지한다.

③ 무료 사용자의 비중과 전환율

주간 활성 사용자(WAU)가 9억 명에 달하지만, 이 중 유료 구독자는 약 5,000만 명(전환율 약 5.5%) 수준이다. 수억 명의 무료 이용자가 발생시키는 서버 비용을 소수의 유료 사용자와 투자금으로 메우고 있는 셈이다.

3) 결론: 언제 흑자가 나는가?

오픈AI 내부 문서에 따르면, 2029년은 되어야 흑자 전환(순이익 약 140억 달러)이 가능할 것으로 전망된다. 그전까지는 누적 손실이 최대 440억 달러(약 60조 원)에 이를 수 있으며, 이를 버티기 위해 지속적인 대규모 자금 조달이 필수적이다.

결국 지금의 적자는 미래의 ‘지능 패권’을 선점하기 위한 매몰 비용 성격이 강하다. 다만, 구글이나 앤스로픽 등 경쟁자들과의 격차가 좁혀지고 인프라 비용이 예상치를 상회할 경우, 현금 고갈(Cash Crunch)에 대한 우려도 공존하고 있다.

돈의 전쟁, 그 끝은 어디인가?

지금처럼 AI에 천문학적인 돈이 계속 들어간다면 미래는 두 가지 방향으로 재편될 것이다.

첫째, ‘자본의 승자독식’이다. 엔비디아의 칩을 수만 개씩 사들일 수 있는 빅테크 기업들만이 AI 경쟁의 본선에 오를 수 있다. 중소기업이나 스타트업은 독자적인 모델을 구축하기보다 빅테크의 AI를 빌려 쓰는 ‘구독 모델’에 종속될 가능성이 크다.

둘째, ‘효율의 경제학’으로의 강제적 전환이다. 무조건 큰 모델이 장기적으로 승리할 수 없다는 인식이 확산되면서, 특정 분야에 최적화된 소형 언어 모델(sLLM)이나 전력 소모를 획기적으로 줄인 AI 반도체(NPU) 시장이 폭발적으로 성장할 것이다.

결국 AI는 ‘돈 먹는 하마’의 단계를 지나, 누가 더 적은 비용으로 지능을 출력해내느냐는 ‘가성비의 전쟁’으로 접어들 것이다. 그때까지는 인류 역사상 유례없는 인프라 투자 광풍이 계속될 것이며, 이 비용을 감당하지 못하는 기업들은 AI라는 이름의 거대한 소용돌이 속에서 자연스럽게 도태될 수밖에 없다. AI는 더 이상 순수한 소프트웨어 기술이 아니다. 그것은 거대한 자본과 에너지를 집어삼키는 하드웨어 인프라의 결정체다.

결국 AI는 소프트웨어가 아니다.
그것은 전력, 반도체, 데이터센터가 결합된 ‘연산 인프라’다.

그리고 이 게임의 승자는
더 똑똑한 모델을 만든 기업이 아니라,
더 싸게 계산할 수 있는 기업이 될 것이다.

---

[글에서 사용한 머리 아픈 용어]

• SaaS(Software as a Service) : 프로그램을 설치하지 않고 인터넷 구독 형태로 사용하는 소프트웨어 서비스 모델.
• 학습(Training) : AI가 방대한 데이터를 반복 계산하며 패턴을 익히는 과정. 가장 많은 GPU와 전력을 소모한다.
• GPU(Graphics Processing Unit) : 원래 그래픽 처리용 칩이지만, 현재는 AI 연산의 핵심 프로세서로 사용된다.
• 벡터 임베딩(Vector Embedding) : 텍스트나 이미지를 고차원 숫자 데이터로 변환하는 기술. AI 검색과 추천 시스템의 핵심이다.
• HBM(High Bandwidth Memory) : GPU에 초고속으로 데이터를 공급하기 위한 고성능 메모리. AI 서버의 필수 부품이다.
• DRAM(Dynamic Random Access Memory) : 컴퓨터가 작업 중 데이터를 임시 저장하는 메모리. 일반 PC와 서버에 널리 사용된다.
• CAPEX(Capital Expenditure) : 데이터센터·GPU·전력망 같은 대규모 설비 구축에 들어가는 투자 비용.
• 매몰 비용(Sunk Cost) : 이미 투자되어 회수하기 어려운 비용. AI 인프라 구축에서 매우 크게 발생한다.
• LLM(Large Language Model) : 인간 언어를 이해하고 생성하는 대규모 AI 모델. ChatGPT 같은 생성형 AI의 핵심 기술이다.
• sLLM(Small Language Model) : 특정 목적에 최적화된 소형 언어 모델. 비용과 전력 효율이 강점이다.
• NPU(Neural Processing Unit) : AI 연산에 특화된 저전력 반도체. 스마트폰·로봇·엣지 AI 기기에 많이 사용된다.
• WAU(Weekly Active Users) : 일주일 동안 서비스를 실제 사용한 활성 사용자 수를 의미하는 지표