RAG(검색증강생성)란 무엇인가, 내 문서로 답하는 AI
RAG 뜻을 한 문장으로 정리하면, 질문에 답하기 전에 관련 문서를 먼저 검색해 그 내용을 근거로 답을 생성하는 방식이다. 검색증강생성(Retrieval-Augmented Generation)이라는 이름 그대로의 구조다. 일반적인 AI 챗봇이 학습 때 외운 지식만으로 대답한다면, 문서 기반 AI는 내 회사 문서를 먼저 뒤져서 해당 구절을 찾아낸 뒤 그 구절을 바탕으로 답한다. 그래서 답과 함께 어느 문서의 어느 대목을 근거로 삼았는지를 제시할 수 있다. 이 글에서는 RAG의 동작 원리를 검색과 생성 단계로 풀어보고, 이 구조를 클라우드 없이 내 기기 안에서 돌릴 수 있다는 점까지 다룬다.
왜 RAG가 필요한가, 일반 LLM의 한계
일반적인 거대언어모델(LLM)은 학습이 끝난 시점까지의 데이터로 지식이 고정되어 있다. 여기서 두 가지 한계가 따라온다.
- 내 문서를 모른다. 회사 내부 규정, 계약서, 세무 자료, 진료 기록 같은 비공개 문서는 모델이 학습한 적이 없다. 모델 입장에서는 존재하지 않는 정보다.
- 모르면 그럴듯하게 지어낼 수 있다. 모델은 모른다고 답하기보다 통계적으로 그럴듯한 문장을 생성하게 설계됐다. 그 결과 실제 문서에 없는 내용을 사실처럼 서술하는 경우가 생긴다.
RAG는 이 두 한계를 검색이라는 단계로 풀어낸다. 답을 생성하기 전에 실제 문서에서 근거를 찾아오기 때문에, 모델이 외운 지식이 아니라 눈앞의 문서 구절을 재료로 답을 만든다.
RAG의 동작 원리, 검색한 다음 생성
RAG의 이름이 말해주듯 핵심은 검색(Retrieval)을 거친 뒤 생성(Generation)으로 이어지는 순서다. 실제 파이프라인은 다음 네 단계로 움직인다.
- 폴더 연결 답변의 근거가 될 문서들(PDF, 워드, 텍스트 등)이 담긴 폴더를 AI에 연결한다.
- 인덱싱(임베딩 변환) 문서를 의미 단위로 잘게 나눈 뒤, 각 조각을 임베딩이라는 숫자 벡터로 변환해 저장한다. 이 과정을 거치면 비슷한 의미의 글을 빠르게 찾을 수 있는 색인이 만들어진다.
- 질문 시 관련 구절 검색 사용자가 질문하면 질문 역시 임베딩으로 바꿔 색인과 대조하고, 의미가 가까운 문서 구절을 찾아낸다.
- 그 구절을 근거로 답 생성 검색된 구절을 모델에게 함께 건네주고 이 내용을 근거로 답하라고 지시한다. 모델은 이 구절을 토대로 답을 작성한다.
검색 단계 자세히 보기, 키워드와 의미의 하이브리드
검색 품질이 RAG 전체의 품질을 좌우한다. 검색 방식은 크게 두 가지가 있고, 각각 장단점이 분명하다.
- 키워드 검색(BM25) 질문에 등장한 단어가 문서에 그대로 있는지를 본다. 고유명사, 제품 코드, 법 조항 번호처럼 정확한 표현을 찾을 때 강하다. 반면 표현이 다르면(예를 들어 환불과 반품) 놓칠 수 있다.
- 의미 기반 임베딩 검색 단어가 달라도 뜻이 가까우면 찾아낸다. 퇴직금 계산이라는 질문으로 근속연수에 따른 정산을 다룬 문단을 끌어올 수 있다. 반면 정확한 코드나 숫자를 집어내는 데는 키워드 검색보다 약할 수 있다.
그래서 두 방식을 함께 쓰는 하이브리드 검색이 정확도를 높이는 데 유리하다. 각각의 검색 결과 순위를 RRF(Reciprocal Rank Fusion) 같은 방법으로 합치면, 한쪽이 놓친 문서를 다른 쪽이 보완한다.
일반 LLM과 RAG 비교
| 구분 | 일반 LLM | RAG(검색증강생성) |
|---|---|---|
| 지식 출처 | 학습 시점에 외운 데이터 | 그때그때 검색해온 실제 문서 |
| 최신성 | 학습 시점에 고정 | 연결한 문서를 갱신하면 반영 |
| 내 문서 반영 | 불가(학습한 적 없음) | 가능(폴더 연결로 반영) |
| 출처 제시 | 어려움 | 가능(근거 문단 제시) |
| 잘못된 답 경향 | 지어낼 여지가 큼 | 출처 확인으로 검증 가능 |
출처 기반 답변이 신뢰를 만드는 이유
RAG가 신뢰를 얻는 기술적 근거는 단순하다. 모델이 외운 내용이 아니라 검색해온 문서 구절을 근거로 답하기 때문에, 사용자가 그 출처를 직접 확인할 수 있다.
답변 옆에 이 답은 OO 계약서 3조 2항을 근거로 했다는 식의 근거가 함께 제시되면, 사용자는 답을 그대로 믿는 대신 원문을 열어 맞는지 대조할 수 있다. AI의 답을 덮어놓고 믿지 않고 검증하는 절차가 작업 흐름 안에 들어오는 셈이다. 출처 제시가 왜 AI의 잘못된 답을 줄이는 데 핵심인지는 출처 기반 답변이 환각을 줄이는 이유에서 더 자세히 다룬다.
RAG를 내 기기 안에서, 온디바이스 RAG
RAG의 검색, 임베딩, 생성 단계는 반드시 클라우드에서 돌려야 하는 것이 아니다. 이 세 단계를 모두 로컬 엔진으로 처리하면 문서가 기기 밖으로 나가지 않는 온디바이스 RAG가 된다. 클라우드에 올릴 수 없는 기밀문서를 다루는 법률, 회계세무, 금융, 공공, 의료연구, 기업보안 직군에 특히 의미가 있다.
Apioni는 이 구조를 기기 안에서 구현한 데스크톱 앱이다. Ollama 기반으로 임베딩 모델과 온디바이스 LLM을 localhost에서 구동해, 인덱싱부터 하이브리드 검색, 근거 제시 생성까지 내 PC 안에서 처리한다. 8GB RAM에서 도는 정본 모델은 4B급(qwen3:4b-instruct)이고, 한국어 게이트(ko-v2)를 더해 보정 없는 기본 출력 대비 정답률을 +14~18%p 끌어올렸다(자체 실측이며 표본과 조건에 따라 달라진다). 답을 만들 때는 수치충실 게이트로 양자화(q4_K_M) 과정에서 생길 수 있는 숫자 손상을 걸러낸다. 문서 내용은 외부 서버나 클라우드로 전송되지 않는다.
다만 온디바이스에는 한계도 있다. 8GB RAM 환경에서는 4B급까지가 현실적인 정본이고, 클라우드의 초대형 모델보다 작고 느리다. 실시간 최신 정보를 검색해 답해야 하는 작업은 여전히 클라우드 쪽이 유리하다. 내 문서 안에서 근거를 찾아 답하는 일과, 외부 최신 정보를 끌어오는 일은 결이 다른 작업이다.
온디바이스 AI가 무엇이고 왜 기밀문서 직군에 맞는지는 온디바이스 AI란 무엇인가에서 정리했다.
직접 해보기, 내 문서로 질문하기
Apioni에서 RAG를 쓰는 흐름은 간단하다.
- 문서가 담긴 폴더를 연결한다.
- 앱이 문서를 인덱싱한다(임베딩 변환).
- 질문을 입력하면 관련 구절을 검색해 그 근거와 함께 답을 제시한다.
같은 방식으로 인터넷 없이 PDF를 검색하고 요약하는 실제 사용 사례는 인터넷 없이 문서 검색하고 요약하기에서 볼 수 있다.
자주 묻는 질문
RAG와 파인튜닝(미세조정)은 뭐가 다른가요
파인튜닝은 모델 자체를 추가 데이터로 다시 학습시켜 지식을 모델 안에 녹이는 방식이다. RAG는 모델은 그대로 두고 답할 때마다 외부 문서를 검색해 근거로 가져오는 방식이다. 문서가 자주 바뀌거나 출처를 제시해야 하는 업무에는 RAG가 더 맞는다. 검색해온 문서를 근거로 답하므로 어느 문단을 참고했는지 확인할 수 있기 때문이다.
RAG를 쓰면 AI가 틀린 답을 안 하나요
RAG가 오류를 완전히 없애주지는 않는다. 다만 답이 검색해온 실제 문서 구절을 근거로 만들어지고 그 출처가 함께 제시되므로, 사용자가 원문과 대조해 답이 맞는지 검증할 수 있다. 검증할 수 있다는 점이 일반 LLM과의 핵심 차이다.
인터넷 없이도 RAG가 작동하나요
작동한다. 검색, 임베딩, 생성 단계를 모두 로컬 엔진으로 돌리면 인터넷 연결 없이 기기 안에서 RAG를 수행할 수 있다. Apioni는 이 방식으로 문서 처리를 전부 localhost에서 진행한다.
임베딩이 정확히 무엇인가요
임베딩은 글의 의미를 숫자 벡터로 바꾼 표현이다. 의미가 비슷한 글일수록 벡터끼리 가까워지도록 설계되기 때문에, 단어가 달라도 뜻이 가까운 문서를 찾아낼 수 있다. RAG의 의미 기반 검색은 이 임베딩 사이의 거리를 비교해 관련 구절을 고른다.
직접 확인해보기
온디바이스 RAG가 내 문서를 어떻게 다루는지는 직접 써보면 가장 빠르게 와닿는다. Apioni는 14일 무료 트라이얼을 카드나 계정 등록 없이 제공하며, 이후에는 ₩39,000 일회성 구매로 계속 쓸 수 있다. 구독이 없고, 회사 단위 라이선스로 기기 수 제한 없이 사용한다. macOS(서명·공증)와 Windows를 지원한다.
- 다운로드: apioni.com/download
- 구매: apioni.com/buy