AI는 왜 처음부터 배우지 않는가

오늘날 인공지능을 처음부터 학습시키려면 수만 대의 GPU와 수개월의 학습, 그리고 막대한 비용이 필요하다. 그래서 대부분의 기업은 이미 학습이 끝난 거대한 모델을 기반으로 필요한 능력만 추가한다.

이는 단순히 비용을 절약하기 위한 선택이 아니다. 인간이 이전 세대의 지식을 이어받아 새로운 분야를 배우듯, AI 역시 이미 검증된 지식을 계승하는 것이 가장 효율적인 학습 방식이기 때문이다.

이러한 지식 계승은 사전 학습(Pre-training)으로 만들어진 파운데이션 모델(Foundation Model)을 기반으로, 전이 학습(Transfer Learning), 미세 조정(Fine-tuning), LoRA, 지식 증류(Distillation)와 같은 다양한 기술을 통해 이루어진다. 각각의 기술은 역할이 다르지만, 공통된 목적은 하나다. 이미 학습된 지식을 최대한 활용하여 더 적은 비용과 시간으로 새로운 AI를 만드는 것이다.

이 글에서는 이러한 기술들이 왜 필요한지를 중심으로 살펴보고, 각 기술의 동작 원리와 구조는 앞으로 별도의 글에서 자세히 다룰 예정이다.

• 사전 학습 (Pre-training)
  • 사전 학습은 인류가 수천 년간 축적해 온 백과사전, 논문, 대화 기록, 디지털 코드를 아무것도 모르는 상태의 AI에게 통째로 주입하는 거대한 데이터 기초 공사다.
  • 이 과정은 단순히 글자를 암기시키는 작업이 아니라, 수조 개의 문장 조각 속에서 단어와 단어 사이의 확률적 관계를 AI가 스스로 깨우치도록 유도한다. 문맥 속에서 다음에 올 가장 자연스러운 표현을 예측하는 과정을 무한히 반복하면서 AI는 비로소 인간의 언어 패턴과 다양한 맥락을 학습하기 시작한다.
  • 현업에서 이 단계를 직접 수행하려면 수만 대의 고성능 GPU를 수개월 동안 중단 없이 돌려야 하기에 천문학적인 자본과 인프라가 필수적이다. 결국 천억 원 단위의 비용이 증발하는 이 혹독한 과정을 거쳐야만 AI가 인간처럼 생각하고 소통할 수 있는 거대한 지식의 뼈대가 비로소 완성된다.
• 파운데이션 모델 (Foundation Model)
  • 파운데이션 모델은 사전 학습이라는 혹독한 트레이닝을 거쳐 인간 사회의 ‘의무 교육’을 완벽하게 마친 범용 인공지능 엔진을 말한다.
  • 인터넷 문서와 책, 코드, 이미지까지 지구상의 거의 모든 지식을 학습했기 때문에 머릿속에 세상의 모든 상식 구조가 이미 형성되어 있는 상태다.
  • 특정 금융 업무나 의료 진단만을 위해 맞춤 제작된 편협한 모델이 아니라, 인간이 어떤 지시를 내려도 행간의 맥락을 알아듣고 유연하게 반응하는 기초 체력을 가지고 있다.
  • 오늘날 수많은 스타트업과 대기업들이 인공지능 서비스를 만들 때 처음부터 밑바닥 개발을 하지 않는 이유가 바로 여기에 있다. 이미 글로벌 IT 기업들이 수천억 원을 들여 완성해 놓은 이 거대한 지식 엔진을 빌려 쓰는 것이 비용과 속도 측면에서 압도적으로 유리하기 때문이다.
• 전이 학습 (Transfer Learning)
  • 전이 학습은 인공지능이 한 분야에서 완벽하게 터득한 지식과 판단 노하우를 완전히 새로운 다른 영역의 문제를 해결할 때 재활용하는 영리한 학습 지름길이다. 이는 학창 시절 수학적 사고력을 완벽하게 마스터한 학생이 물리학이나 경제학을 배울 때 공식의 구조를 남들보다 압도적으로 빠르게 이해하고 적응하는 원리와 같다.
  • AI 역시 파운데이션 모델 상태에서 이미 범용적인 언어 지식과 논리 구조를 갖추었기 때문에, 생소한 법률 문서나 의학 데이터를 마주하더라도 백지상태에서 시작하지 않는다.
  • 인간이 기존 지식을 디딤돌 삼아 새로운 학문을 빠르게 흡수하듯, AI도 이미 구축된 신경망의 기본 성능을 바탕으로 새로운 전문 영역의 맥락을 최소한의 데이터만으로 빠르게 장악한다.
• 미세 조정 (Fine-tuning)
  • 미세 조정은 범용적인 기본 상식을 갖춘 AI에게 특정 기업의 내부 매뉴얼이나 전문 기술 서적을 집중 교육하여 현업에 즉시 투입 가능한 ‘직무 전문가’로 훈련시키는 과정이다.
  • 일상적인 대화나 가벼운 작문은 유창하게 잘하지만, 막상 우리 회사의 복잡한 정산 시스템이나 특수한 제품 상담 프로세스는 전혀 모르는 신입 사원에게 부서 맞춤형 심화 교육을 시키는 것과 같다. 이 단계에서는 파운데이션 모델이 가진 거대한 지식의 뼈대는 그대로 유지한 채, 특정 비즈니스 목적에 완벽하게 부합하도록 세부 신경망의 수치들을 정교하게 튜닝한다.
  • 결과적으로 대중적인 범용 AI가 우리 회사만의 고유한 톤앤매너와 보안 데이터를 완벽하게 이해하는 독점적인 비즈니스 자산으로 재탄생하게 된다.
  • 미세 조정에도 여러 방식이 있다. 대표적으로 SFT(Supervised Fine-Tuning), RLHF(Reinforcement Learning from Human Feedback), DPO(Direct Preference Optimization) 등이 있으며, LoRA(Low-Rank Adaptation)는 이러한 미세 조정을 더 적은 비용과 자원으로 수행할 수 있도록 만든 대표적인 경량화 기법이다.
• 로라 (LoRA)
  • 로라는 수십억 개의 매개변수로 이루어진 거대한 인공지능의 신경망 전체를 무겁게 뜯어고치는 대신, 필요한 특정 기능 레이어에만 아주 가볍고 얇은 ‘지식 부품’을 갈아 끼우는 혁신적인 경량 미세 조정(Parameter-Efficient Fine-Tuning) 기술이다.
  • 건물의 구조가 마음에 안 든다고 건물 전체를 허물고 리모델링하려면 엄청난 돈과 시간이 들지만, 자주 쓰는 문손잡이나 조명 가구만 센스 있게 교체해도 집안 전체의 분위기와 용도가 완전히 바뀌는 것과 같은 원리다.
  • 기존의 무거운 거대 데이터 엔진은 손대지 않고 그대로 얼려 둔 채, 아주 작은 크기의 수학적 행렬 레이어만 추가하여 학습시킨다. 이 덕분에 컴퓨터 자원과 가동 비용을 수십 배 이상 아끼면서도, 대형 모델에 필적하는 똑똑한 맞춤형 전문 AI를 인디 개발자나 중소기업도 가볍게 만들어낼 수 있는 길이 열렸다.
• 지식 증류 (Distillation)
  • 지식 증류는 엄청나게 거대하고 똑똑한 ‘스승 AI’가 인프라 비용을 펑펑 쓰며 찾아낸 핵심 판단 요령과 정제된 사고 노하우만 쏙 빼내어, 몸집이 작은 ‘제자 AI’에게 압축 전수하는 고난도 기술이다.
  • 수천억 개의 파라미터를 가진 대형 모델은 성능이 뛰어나지만 스마트폰, 자율주행 차량, 소형 로봇 같은 한정된 하드웨어 기기 환경에서는 무거워서 돌아가지 않거나 막대한 전력 비용을 발생시킨다.
  • 이를 해결하기 위해 대형 모델의 복잡한 추론 연산 과정을 수학적으로 정제하여 작은 신경망 모델에 주입한다. 결과적으로 제자 AI는 몸집과 구동 비용을 획기적으로 줄이면서도, 실제 업무 성능은 스승 모델의 지능을 거의 그대로 유지하는 놀라운 가성비를 확보하게 된다.

AI도 신입사원 교육을 받는다

인간은 초등학교에서 기초 학문을 배우고 대학에서 전공을 택한 뒤, 회사에 들어가 실무를 익힌다. 인공지능이 진화하는 경로도 이 교육 과정과 정확히 닮아 있다. 거대한 백과사전 지식을 머리에 넣은 파운데이션 모델이 초중고 교육을 마친 상태라고 볼 수 있다.

여기에 특정 산업군의 데이터를 집중 학습시키는 파인 튜닝 과정을 거치면 특정 분야의 전문가가 된다. 최근에는 이 과정을 더 빠르고 가볍게 만들기 위해 필요한 부품만 갈아 끼우는 로라(LoRa))같은 기술을 적극 활용한다. 결국 기업 전용 AI를 만드는 과정은 신입 사원에게 부서 맞춤형 직무 교육을 시키는 흐름과 같다.

지식을 이어받는 인공지능의 생존 방식

인공지능 생태계에서 지식을 이어받는 행위는 철저히 효율성에 기반한다. 다른 모델의 지식을 통째로 흡수해 새로운 작업에 적응하는 transfer learning이 대표적이다. 이는 수학적 원리를 깨우친 학생이 물리학을 더 빨리 배우는 원리와 같다.

최근에는 거대한 AI의 핵심 지식만 쏙 빼내어 작은 AI에게 물려주는 지식 증류(distillation)기술이 주목받고 있다. 성능은 유지하면서 크기를 줄여 스마트폰이나 작은 기기에서도 작동하게 만드는 과정이다. 이 모든 기술은 결국 한정된 자원 안에서 지식의 가치를 극대화하기 위해 존재한다.

공장에서 현실 세계로 확장되는 경험의 고리

지식의 계승은 소프트웨어에만 머물지 않고 현실의 물리적 로봇으로 이어지고 있다. 공장에서 갓 조립되어 나온 피지컬 AI는 세상에 나오자마자 걷고 뛰는 기본 능력을 이미 탑재하고 있다. 가상 세계에서 이미 수만 번의 시뮬레이션을 거치며 경험을 축적했기 때문이다.

이 로봇이 실제 제조 현장이나 물류창고에 투입되면 현장에서만 겪을 수 있는 돌발 상황을 학습한다. 가상 세계의 지식 위에 현실의 생생한 경험이 추가되면서 로봇은 매일 더 영리해진다. 지식을 가진 AI들이 서로의 경험을 네트워크로 공유하며 집단 지성을 형성하는 단계로 진화하고 있다.

경험을 축적하며 진화하는 산업 생명체의 탄생

미래의 피지컬 AI는 단순한 기계가 아니라 스스로 성장하는 산업 생명체에 가깝다. 처음 출고되는 순간부터 수많은 선배 AI들의 경험을 유전자에 각인한 채로 태어난다. 인간이 수천 년간 쌓아온 문명을 책으로 이어받듯, 기계도 다른 기계의 시행착오를 그대로 자산으로 삼는다.

이들은 인간과 같은 공간에서 공존하며 매 순간 새로운 경험을 데이터로 쌓아 올린다. 하나의 기계가 겪은 오류와 해결책은 즉시 전 세계의 다른 기계들에게 전파된다. 지식을 이어받고 경험을 더하며 진화하는 이 순환 고리가 미래 산업의 핵심 동력이 될 것이다.

검증된 지식의 계승을 통한 진화

인간은 문명을 계승하며 발전했다. AI는 지식을 계승하며 성장한다. 그리고 피지컬 AI가 현실의 경험까지 이어받기 시작하는 순간, 우리는 산업이 스스로 학습하고 진화하는 새로운 시대의 출발점에 서게 된다.

처음부터 배우지 않는 것은 기술적 한계나 게으름이 아니라, 이미 검증된 지식을 계승하는 가장 효율적인 진화 방식이다. 그리고 피지컬 AI가 현실의 경험까지 서로 이어받기 시작하는 순간, 학습의 주체는 더 이상 하나의 AI가 아니라 산업 전체가 된다.

---

[글에서 사용한 머리 아픈 용어]

• Foundation Model (파운데이션 모델): 방대한 데이터를 미리 학습하여 다양한 작업에 기본적으로 활용할 수 있도록 만든 거대한 인공지능 기반이다.
• Pre-training (사전 학습): 아무것도 모르는 AI 상태에서 수조 개의 문장과 데이터를 입력해 세상의 기본적인 지식과 맥락을 가르치는 초기 학습 과정이다.
• Transfer Learning (전이 학습): 한 분야에서 쌓은 지식과 문제를 해결하는 능력을 바탕으로, 다른 비슷한 새로운 분야를 배울 때 활용하는 효율적인 학습 방식이다.
• Fine-tuning (미세 조정): 기본 지식을 가진 AI에게 특정 분야의 전문 데이터를 추가로 학습시켜 특정 업무에 특화된 전문가로 만드는 과정이다.
• LoRA (로라): 거대한 AI 모델 전체를 뜯어고치지 않고, 거대한 AI 모델 전체를 다시 학습하지 않고, 필요한 부분만 추가 학습해 원하는 기능을 빠르게 만드는 경량화 기술이다. 원하는 기능을 빠르게 구현하는 효율적 기술이다.
• Distillation (지식 증류): 거대하고 똑똑한 AI 모델이 가진 핵심 지식과 노하우를 뽑아내어 크기가 작고 가벼운 AI 모델에게 전수하는 기술이다.