챗GPT가 모든 것을 외우지 못한다는 한계에서 출발한 RAG 기술은 AI에게 실시간으로 책을 찾아주는 오픈북 시스템이다. 기존의 파인튜닝이 AI의 말투와 전문성을 훈련한다면, RAG는 최신 정보와 내부 문서를 실시간으로 공급하는 역할을 맡는다. 두 기술은 대립하는 것이 아니라 상호 보완하며 발전하고 있으며, 앞으로는 문서 검색을 넘어 인간의 행동과 감각을 검색하는 단계로 진화할 준비를 하고 있다.
챗GPT가 모든 것을 알고 있다는 흔한 착각
많은 사람이 챗GPT를 마법의 상자로 여긴다. 세상의 모든 지식을 머릿속에 담고 있어서 어떤 질문을 던져도 실시간으로 정답을 꺼내온다고 믿는다. 하지만 거대언어모델(LLM)은 세상의 모든 정보를 기억하지 못한다.
LLM은 학습이 끝난 시점에 지식이 멈춘다. 그 이후에 발생한 최신 정보는 알 방법이 없다. 기업의 내부 보안 문서나 개인의 사적인 데이터 역시 기본적으로 접근할 수 없다. 기억하지 못하는 정보를 억지로 쥐어짜내다 보니 그럴듯한 거짓말을 하는 환각 현상이 발생한다. 바로 이 지점에서 데이터를 새로 학습시키는 대신 밖에서 정답을 찾아다 주는 RAG 기술이 등장했다.
외우지 않고 도서관에서 찾아오는 기술
RAG는 인공지능에게 모든 것을 암기하라고 강요하지 않는다. 대신 옆에 거대한 백과사전을 두고, 질문이 들어올 때마다 필요한 페이지를 펼쳐보게 만드는 오픈북 시스템이다.
이 시스템을 이해하기 위해서는 몇 가지 뼈대가 되는 용어를 알아야 한다.
- LLM: 논리적으로 생각하고 문장을 만드는 두뇌다.
방대한 텍스트 데이터를 통계학적으로 학습하여 문맥에 따라 가장 자연스러운 문장을 구사하는 능력을 가졌다.
자체적으로 새로운 사실을 실시간으로 생산해 내지는 못하지만 자료가 주어지면 영리하게 요약하고 정리한다.
외부에서 정확한 데이터만 전달해 주면 한 편의 완벽한 논설문이나 보고서를 뚝딱 완성해 내는 천재 작가와 같다. - RAG: 필요한 자료를 찾아 LLM에게 전달하는 검색 증강 시스템이다.
- 질문이 들어오면 외부 문서 저장소를 검색하여 관련 정보를 찾아 LLM에게 함께 전달한다.
- 이를 통해 최신 정보나 기업 내부 문서를 활용한 답변이 가능해진다.
- 임베딩: 사람이 사용하는 문장을 컴퓨터가 이해할 수 있도록 수많은 숫자로 변환하는 과정이다. 의미가 비슷한 문장은 숫자 공간에서도 서로 가까운 위치에 저장된다. RAG는 이 숫자 좌표를 이용해 가장 관련성이 높은 문서를 빠르게 찾아낸다.
- 벡터 데이터베이스: 단어의 뜻과 문맥의 의미별로 묶어서 저장하는 특수 창고다.
정확히 일치하는 단어를 가나다순이나 알파벳순으로만 정렬하여 보관하던 기존 데이터베이스와는 본질적으로 다르다.
임베딩이 쪼개놓은 수많은 숫자 좌표를 바탕으로 의미의 유사성을 계산하여 가깝고 먼 거리를 따져 저장한다.
이 창고 안에서는 “휴머노이드”와 “인간형 로봇”이 철자는 완전히 달라도 같은 뜻을 공유하기 때문에 바로 옆방에 나란히 보관된다. - 청크: 거대한 서적을 컴퓨터가 읽기 편하게 잘게 쪼갠 문서 조각이다.
인공지능의 두뇌가 한 번에 받아들이고 기억할 수 있는 글자 수에는 기술적이고 물리적인 한계가 분명히 존재한다.
수백 페이지에 달하는 매뉴얼을 통째로 집어넣으면 앞 내용을 잊어버리거나 과부하가 걸려 오작동을 일으킨다.
글의 맥락과 문장의 의미가 어중간하게 잘려 나가지 않도록 500자나 1000자 단위로 정교하게 잘라내는 것이 핵심이다. - 유사도 검색: 글자가 똑같지 않아도 맥락이 가장 비슷한 내용을 찾아내는 기술이다.
사용자가 “스마트폰 화면이 깨졌어”라고 질문하면 컴퓨터는 가나다순 단어 매칭 대신 벡터 창고의 주소를 추적한다.
질문이 생성한 숫자 좌표와 물리적인 거리가 가장 가깝게 맞닿아 있는 문서 조각들을 자석처럼 한 번에 끌어당긴다.
그 결과 질문 속 단어와 일치하지 않더라도 의미가 통하는 “액정 교체 방법”이나 “디스플레이 수리비”를 귀신같이 짚어낸다.
데이터 학습의 한계와 실시간 검색의 필요성
매일 업데이트되는 세상의 모든 지식을 매번 AI에게 새로 가르치는 것은 불가능하다. 비용이 상상을 초월할 정도로 많이 들고 시간도 오래 걸리기 때문이다. AI는 태생적으로 최신 정보를 모르며, 당장 우리 회사의 매출 장부나 내가 어제 쓴 기획서 내용을 알 수 없다.
RAG는 이 치명적인 공백을 검색으로 메운다. 사용자가 질문을 던지면 인공지능이 스스로 판단하는 대신, 먼저 벡터 데이터베이스에서 관련 문서를 찾아낸다. 시스템이 찾아온 실시간 문서를 두뇌인 LLM에게 제공하면, LLM은 그 데이터를 기반으로 답변을 완성한다. 결국 아는 척하며 사기를 치는 환각 현상이 획기적으로 줄어들게 된다.
질문이 정답으로 변하는 동작 과정
RAG 시스템 내부에서는 사용자의 질문이 다음과 같은 정밀한 흐름을 거쳐 정답으로 바뀐다.
사용자 질문
→ Embedding
→ Vector DB 검색
→ Top-k 문서 선택
→ Prompt Augmentation(검색한 문서를 질문에 함께 붙이는 과정)
→ LLM 추론(Inference)
→ 최종 답변
단어 맞추기와 문맥 이해하기의 본질적 차이
많은 사람이 RAG를 보고 기존의 인터넷 검색과 같다고 오해한다. 단순히 웹사이트에 키워드를 검색해서 링크를 띄워주는 기능으로 생각하는 것이다.
하지만 구글로 대표되는 기존 검색은 ‘키워드 검색’이다. 문장 안에 똑같은 글자가 들어있는지만 기계적으로 확인한다. 반면 RAG는 문맥과 의도를 파악하는 ‘의미 검색’을 수행한다. ” 날씨가 쌀쌀하다”라는 말을 들었을 때 단어 뜻 그대로를 찾는 것이 아니라, 겨울옷이나 따뜻한 음식을 찾아야 한다는 문맥을 스스로 이해하고 움직인다.
지식을 채우는 것과 말투를 바꾸는 것의 차이점
인공지능의 성능을 올리는 방법으로 파인튜닝과 RAG는 늘 비교 대상이 된다. 두 기술은 서로 경쟁하는 관계가 아니라 역할을 나누어 서로를 보완하는 기술이다.
베이스 모델
↓
기본지능
↓
파인튜닝 (말투, 전문성, 세계관 학습)
↓
RAG (지식, 문서, 최신정보, 회사 데이터베이스 연결)
파인튜닝은 의사의 세련된 말투나 변호사의 상담 스타일처럼 ‘태도와 전문성’을 훈련하는 과정이다. 반면 RAG는 그 의사의 책상 위에 실시간으로 업데이트되는 최신 의학 논문과 환자 차트를 놓아주는 ‘지식 공급’이다. 말투만 번지르르하고 알맹이가 없으면 안 되기에 두 기술은 함께 쓰여야 시너지가 난다.
쓰레기가 들어가면 쓰레기가 나온다는 절대 법칙
RAG가 모든 문제를 해결하는 치트키는 아니다. 현업에서 RAG를 구축할 때 가장 많이 겪는 실패는 데이터의 오염과 설계 오류에서 온다.
처음부터 검색해 온 문서의 품질이 나쁘면 AI가 내놓는 정답도 엉망이 된다. 거대한 문서를 청크로 너무 잘게 쪼개면 앞뒤 맥락이 잘려 나가 성능이 뚝 떨어진다. 인간의 언어를 숫자로 바꾸는 임베딩 모델의 수준이 낮거나 벡터 데이터베이스의 설계가 부실하면 엉뚱한 자료를 짚어온다. 데이터 업계의 고전적인 진리인 ‘Garbage In, Garbage Out’은 RAG 환경에서도 뼈아프게 적용된다.
현업에서는 어떤 Vector DB를 사용할까?
RAG에서 가장 중요한 구성 요소 중 하나가 벡터 데이터베이스(Vector Database)다. 임베딩된 문서를 저장하고 질문과 가장 비슷한 문서를 빠르게 찾아오는 역할을 한다.
| Vector DB | 특징 | 주 사용 환경 |
|---|---|---|
| ChromaDB | 설치와 사용이 매우 간단 | 개인 프로젝트, PoC, 소규모 서비스 |
| FAISS | Meta가 개발한 고속 벡터 검색 라이브러리 | 연구, 로컬 검색 |
| Milvus | 대용량 분산 검색 지원 | 기업 서비스 |
| Qdrant | REST API 지원, 관리 편리 | SaaS, AI 서비스 |
| Weaviate | GraphQL 지원 | 복합 검색 서비스 |
| Pinecone | 클라우드 기반 관리형 서비스 | 상용 서비스 |
NEXT WORLD에서도 여러 Vector DB를 비교하며 RAG를 구현해 보았지만, 연구와 LLM 실험에서는 ChromaDB를 가장 많이 사용했다. Python 기반 개발 환경과 연동이 쉽고, PoC(Proof of Concept)나 개인 연구에서는 빠르게 RAG 구조를 검증할 수 있었기 때문이다.
많은 엔지니어들이 Vector DB를 바꾸면 성능이 크게 좋아질 것이라고 생각한다. 하지만 실제 실험을 해보면 결과를 좌우하는 것은 데이터 품질이다. 좋은 임베딩 모델, 적절한 청크 크기, 정확한 메타데이터 설계가 갖춰지지 않으면 어떤 Vector DB를 사용하더라도 원하는 문서를 제대로 찾지 못한다. 결국 RAG의 성능은 검색 엔진보다 데이터 설계가 결정한다.
대부분은 ChromaDB, Milvus, Qdrant 같은 공개된 Vector DB를 사용하지만, 대규모 AI 서비스나 고성능 검색이 필요한 환경에서는 성능과 운영 환경에 맞게 자체 벡터 검색 시스템(Vector Search Engine)을 구축하는 경우도 있다.
글자를 넘어 세상의 모든 신호를 검색하는 미래
지금까지의 RAG는 인터넷 문서나 회사 PC에 저장된 PDF 파일 안의 글자를 찾는 수준에 머물러 있었다. 기업들이 텍스트 중심의 데이터 관리에만 집중했기 때문이다. 하지만 앞으로의 RAG는 전혀 다른 형태로 진화한다.
이제 현장에서 찍히는 영상, 마이크로 들어오는 음성, 사물인터넷 센서 값, 그리고 인간의 행동 데이터가 실시간 검색 대상이 된다. 텍스트를 넘어 현실 세계의 물리적 자극과 신호 자체를 검색하는 시대가 열리고 있다. 데이터의 형태가 텍스트에서 멀티미디어와 감각 신호로 확장되는 흐름이다.
왜 RAG가 환각(Hallucination)을 줄일까?
많은 사람이 RAG를 사용하면 AI가 거짓말을 하지 않는다고 생각한다.
하지만 RAG가 환각을 완전히 없애는 것은 아니다.
RAG는 답변하기 전에 관련 문서를 먼저 찾아 LLM에게 제공한다.
따라서 AI는 자신의 기억에만 의존하지 않고 실제 문서를 근거로 답변할 가능성이 높아진다.
다만 검색된 문서 자체가 잘못되었거나, LLM이 문서를 잘못 해석하면 여전히 환각은 발생할 수 있다.
즉 RAG는 환각을 제거하는 기술이 아니라, 환각이 발생할 확률을 크게 낮추는 기술이라고 이해하는 것이 정확하다.
파인튜닝과 RAG는 경쟁자가 아니다
파인튜닝과 RAG는 어느 하나가 더 뛰어난 기술이 아니다. 두 기술은 서로 다른 문제를 해결한다.
파인튜닝은 인공지능 자체를 더 똑똑하게 만드는 과정이다. 특정 분야의 전문성, 말투, 응답 방식, 세계관을 모델 내부에 학습시켜 AI의 ‘성격’을 만드는 역할을 한다.
반면 RAG는 AI가 부족한 지식을 실시간으로 찾아오는 기술이다. 최신 뉴스, 회사 내부 문서, 매뉴얼처럼 계속 바뀌는 정보를 외부에서 공급하여 답변의 정확도를 높인다.
결국 파인튜닝은 AI의 능력을 키우고, RAG는 AI의 기억을 확장한다. 하나는 두뇌를 성장시키고, 다른 하나는 두뇌가 활용할 수 있는 지식 창고를 연결하는 기술인 셈이다.
앞으로 AI가 다루는 데이터는 문서를 넘어 영상, 음성, 센서 정보, 그리고 인간과 로봇이 축적한 행동 데이터까지 확장될 것이다. 그에 따라 RAG 역시 단순한 문서 검색을 넘어 행동과 경험을 검색하는 시스템으로 발전할 가능성이 크다.
[글에서 사용한 머리 아픈 용어]
- RAG (검색 증강 생성): 인공지능이 질문에 답하기 전에, 신뢰할 수 있는 외부 자료실에서 관련 최신 정보를 먼저 찾아보고 답변을 작성하도록 만드는 기술이다.
- 파인튜닝 (미세조정): 이미 만들어진 기본 인공지능에게 특정 데이터셋을 추가로 학습시켜, 특정 직업의 말투나 전문적인 작업 스타일에 맞게 성격을 개조하는 방법이다.
- 벡터 데이터베이스 (Vector DB): 글자나 이미지 같은 데이터를 컴퓨터가 계산할 수 있는 숫자 좌표로 바꾸어, 뜻이 비슷한 데이터끼리 가까운 공간에 모아두는 특수 저장소다.
※ 특정 산업이나 자산에 대한 투자 판단은 본인의 책임 하에 신중히 결정하시기 바랍니다.