Ollama를 깔았다면 절반만 온 것이다
로컬 AI를 직접 구축할지, 완성형 문서 AI를 쓸지 고민이라면 기준은 하나다. 파이프라인을 만드는 게 목적이면 직접 구축이 맞고, 지금 내 문서로 일하는 게 목적이면 완성품이 시간을 아낀다. ollama run qwen3 명령으로 모델이 떴다면, 로컬 AI 직접 구축의 절반쯤 온 것이다. Ollama는 내 PC에서 LLM을 실행하는 런타임이고, 흔히 찾는 Ollama 사용법의 핵심도 모델을 받아 실행하는 데까지다. 다만 대부분이 정작 원하는 건 “모델과 대화하기”가 아니라 “내 문서를 근거로 답하는 시스템”이다. 그리고 그 시스템은 ollama run 다음부터 시작된다. 문서를 쪼개 인덱싱하고, 임베딩으로 의미를 벡터화하고, 검색으로 관련 대목을 찾고, 출처와 함께 답변을 만드는 파이프라인 전체를 누군가 구성해야 한다.
결론을 먼저 말하면 이렇다. RAG 파이프라인 자체를 배우거나 실험하려는 목적이면 직접 구축이 맞고, 지금 당장 내 문서로 일하는 게 목적이면 이미 조립된 완성품을 쓰는 편이 합리적이다. 이 글은 그 “ollama run 이후의 공백”을 정직하게 짚고, 두 갈래를 나눠 본다.
Ollama가 해주는 것과 안 해주는 것
Ollama는 잘 만든 런타임이다. 모델을 받아오고, 양자화된 가중치를 메모리에 올리고, 로컬에서 추론을 돌린다. Ollama 한글 입출력도 문제없이, Qwen3 계열처럼 한국어를 다루는 모델을 받아 바로 한국어로 대화할 수 있다. 여기까지는 명령 몇 줄로 끝난다. 8GB RAM 환경이라면 4B급(qwen3:4b-instruct)이 무리 없는 정본이고, 그 이상으로 키우면 메모리와 속도가 빠르게 부담이 된다.
문제는 그다음이다. Ollama는 다음을 기본 제공하지 않는다.
- 문서 인덱싱: 내 PDF·워드·텍스트를 읽어 검색 가능한 형태로 만드는 과정
- 임베딩 구성: 문장을 벡터로 바꾸는 임베딩 모델의 선택과 연결
- 벡터 검색: 질문과 가까운 문서 대목을 찾아오는 검색 엔진
- 출처 표시: 답변이 어느 문서 어느 부분에서 나왔는지 추적
- 사용자 인터페이스: 폴더를 연결하고 질문을 입력하는 화면
정리하면 Ollama는 “엔진”을 제공할 뿐, “내 문서로 답하는 제품”은 사용자가 직접 조립해야 한다. 이 구조를 RAG(검색 증강 생성) 파이프라인이라고 부른다. LLM이 답하기 전에 내 문서를 먼저 검색해 근거를 끌어오고, 그 근거를 바탕으로 답을 생성하는 방식이다. 원리는 RAG가 무엇이고 왜 필요한가 글에서 더 자세히 다룬다.
직접 구축하려면 실제로 무엇이 필요한가
로컬 AI 직접 구축을 검색하면 단계가 짧아 보이지만, 실제 작업량은 다음과 같다.
- 임베딩 모델 선택: 한국어 문서라면
bge-m3같은 다국어 임베딩 모델이 후보다. 임베딩은 문장의 의미를 숫자 벡터로 바꿔 비슷한 내용을 가깝게 배치하는 모델인데, 종류마다 차원·성능·메모리 요구가 달라 비교가 필요하다. - 청킹 설계: 문서를 어느 크기로 쪼갤지 정한다. 너무 크면 검색 정확도가 떨어지고, 너무 작으면 맥락이 끊긴다.
- 벡터 저장·검색: 임베딩을 담을 벡터 DB를 고르고, 질문이 들어올 때 유사도 검색을 돌린다.
- 하이브리드 랭킹: 의미검색만으로는 정확한 용어나 고유명사를 놓치기 쉬워, 키워드 검색(BM25)과 결합하는 편이 좋다. 두 결과를 합치는 RRF 같은 방식도 직접 구현하고 튜닝해야 한다.
- 출처 추적: 답변에 인용된 대목이 원본 어디인지 연결하는 메타데이터 설계가 필요하다.
- 프런트엔드: 폴더 연결, 질문 입력, 답변과 출처 표시까지 실제로 쓸 만한 화면을 만들어야 한다.
여기에 더해 모델·라이브러리 버전 관리, OS별 동작 차이, 성능 튜닝 같은 유지보수가 상시로 따라온다. 라이선스 비용은 없지만, 시간 비용은 분명히 든다.
결국 무엇을 골라야 하나
직접 구축이 합리적인 경우가 분명히 있다.
- RAG 파이프라인 자체를 학습하거나 실험하려는 목적일 때
- 요구사항이 단순하고, 검색 품질과 출처 정확도에 크게 민감하지 않을 때
- 내부에 개발 리소스가 상시 있어, 셋업과 유지보수를 직접 감당할 수 있을 때
반대로 완성품이 합리적인 경우는 이렇다.
- 클라우드에 올릴 수 없는 기밀문서를 다루는 실무자(법률·회계세무·금융·공공·의료연구·기업보안)
- 파이프라인 구축이 목적이 아니라, 지금 당장 문서를 검색하고 요약해 일하는 것이 목적인 경우
- 한국어 문서 품질, 출처 표시, 검색 정확도를 직접 튜닝할 시간이 없는 경우
핵심은 구축 자체가 목적인지, 결과가 목적인지의 차이다. 결과만 필요하다면 이미 조립된 파이프라인을 쓰는 편이 시간을 아낀다.
DIY(Ollama 직접) vs Apioni 비교
| 항목 | DIY (Ollama 직접 구축) | Apioni |
|---|---|---|
| 모델 실행 | Ollama로 직접 | 내장(Ollama 기반) |
| 문서 인덱싱 | 직접 구현 | 폴더 연결 시 자동 |
| 임베딩 구성 | 모델 선택·연결 직접 | bge-m3 내장 |
| 하이브리드 검색 | BM25+의미검색 직접 결합 | BM25+의미검색 RRF 내장 |
| 출처 표시 | 메타데이터 설계 직접 | 답변에 출처 함께 제시 |
| 사용자 인터페이스 | 직접 개발 | 데스크톱 앱 제공 |
| 한글 처리 | 모델·임베딩 선택에 좌우 | Qwen3 계열·bge-m3로 처리 |
| 초기 설정 시간 | 구성 요소별 작업 필요 | 설치 후 폴더 연결 |
| 유지보수 | 버전·성능 직접 관리 | 앱 업데이트로 대응 |
| 네트워크 검증 | 직접 점검 | 앱 내 자가검증 + lsof 확인 가능 |
| 비용 | 라이선스 0원 + 시간 비용 | ₩39,000 일회성(기기 무제한), 14일 무료 트라이얼 |
Apioni는 이 파이프라인을 어떻게 묶었나
Apioni는 위에서 나열한 구성 요소를 하나의 데스크톱 앱으로 묶은 온디바이스 문서 AI다. 온디바이스란 모델 추론과 문서 처리를 외부 서버가 아니라 내 기기 안에서 수행한다는 뜻이다. Tauri 기반 앱(macOS 서명·공증, Windows) 안에서 Ollama와 Qwen3 계열 모델(8GB RAM 정본은 qwen3:4b-instruct), bge-m3 임베딩을 기기 안에서 구동한다. 폴더를 연결하면 인덱싱이 진행되고, 질문하면 출처와 함께 답변을 받는다. 검색은 키워드(BM25)와 의미검색을 RRF로 결합한 하이브리드 방식이다. RRF는 두 검색 결과의 순위를 합쳐 한쪽이 놓친 문서를 다른 쪽이 보완하도록 만드는 방법이다.
직접 조립한 파이프라인과 갈리는 지점은 한국어 처리의 정밀도다. Apioni는 한국어 게이트(ko-v2)를 둬 자체 실측에서 naive 구성 대비 정답률을 14~18%p 끌어올렸고(표본·조건이 한정된 자체 측정값이다), 수치충실 게이트로 양자화(q4_K_M) 과정에서 생기는 수치 손상을 걸러낸다. 같은 엔진을 직접 묶었을 때 흔히 빠지는 부분이 이 한국어·수치 보정 계층이다.
네트워크 동작은 사실 그대로 정리하면 이렇다. 문서 처리는 전부 로컬(localhost) 엔진으로만 진행되고, 문서 내용은 기기 밖으로 나가지 않는다. Apioni가 인터넷으로 여는 외부 연결은 두 가지뿐이다. 하나는 첫 실행 때 엔진과 모델을 한 번 내려받는 다운로드이고, 다른 하나는 실행 시 apioni.com에 버전을 확인하는 요청이다. 두 연결 어디에도 문서 내용은 담기지 않으며, 별도 텔레메트리는 없다. 이 동작은 주장으로 끝나지 않고, 앱 내 네트워크 자가검증 기능과 lsof 같은 도구나 패킷 캡처로 사용자가 직접 확인할 수 있다. 모델 다운로드는 Ollama가 수행하는 영역으로, 최초 1회 이후에는 모델이 기기에 저장돼 있어 인터넷 없이 사용할 수 있다.
대신 한계도 분명히 해 둔다. 8GB RAM 환경에서는 4B급 모델까지가 현실적이라, 파라미터가 수십 배 큰 클라우드 초대형 모델보다 작고 추론도 느리다. 실시간 최신 정보 검색처럼 외부 데이터를 끌어와야 하는 작업은 클라우드 쪽이 유리하다. Apioni가 강한 지점은 내 문서를 근거로, 기기 밖으로 내용을 보내지 않고 답하는 쪽이다.
오프라인에서 문서를 검색하고 요약하는 실제 사용 시나리오는 인터넷 없이 PDF 검색·요약하기 글에서 이어진다.
자주 묻는 질문 (FAQ)
Ollama만으로 내 문서에 질문할 수 있나요?
모델 실행은 됩니다. 다만 문서를 검색하고 출처를 표시하려면 임베딩, 벡터 검색, 청킹, 인터페이스를 별도로 구축해야 합니다. Ollama는 그 파이프라인 가운데 모델 실행 부분만 담당합니다.
직접 구축하면 비용이 안 드나요?
라이선스 비용은 들지 않습니다. 다만 임베딩 구성, 하이브리드 검색, 출처 추적, UI를 직접 만들고 이후 버전과 성능을 관리하는 시간 비용이 발생합니다. 회사 단위로 환산하면 무시하기 어려운 비용입니다.
Apioni도 내부적으로 Ollama를 쓰나요?
그렇습니다. Apioni는 Ollama와 Qwen3 계열 모델, bge-m3 임베딩을 기기 안에서 구동합니다. 직접 조립해야 할 파이프라인을 완성형으로 제공하는 형태입니다.
문서 내용이 외부로 전송되나요?
문서 처리는 전부 로컬(localhost) 엔진으로만 진행되고, 문서 내용은 기기 밖으로 나가지 않습니다. Apioni가 여는 외부 연결은 두 가지로, 첫 실행 때 엔진·모델을 한 번 받는 다운로드와 실행 시 버전 확인 요청뿐입니다. 어느 쪽에도 문서 내용은 담기지 않습니다. 이 동작은 앱 내 자가검증 기능과 lsof·패킷 캡처로 직접 확인할 수 있습니다.
한국어 문서 품질은 어떤가요?
Qwen3 계열 모델과 bge-m3 임베딩으로 한국어 문서를 처리합니다. 의미검색에 키워드(BM25) 검색을 결합한 하이브리드 방식이라, 고유명사나 정확한 용어가 포함된 질문에도 대응합니다.
구축 대신 바로 시작하기
내 문서로 답하는 시스템이 필요한데 파이프라인 구축에 시간을 쓰고 싶지 않다면, 이미 조립된 형태로 시작할 수 있다. Apioni는 14일 무료 트라이얼을 카드나 계정 등록 없이 제공하며, 정식 구매는 ₩39,000 일회성(구독 없음)이다. 한 번 결제하면 회사 단위 라이선스로 기기 수 제한 없이 쓴다. macOS(서명·공증)와 Windows 빌드를 apioni.com/dl에서 받을 수 있다.
- 무료 트라이얼 다운로드: www.apioni.com/download
- 구매: www.apioni.com/buy