온디바이스 LLM vs 클라우드 AI 비교: 기밀 문서는 어디서 처리해야 하나

온디바이스 LLM과 클라우드 AI, 무엇이 다른가

기밀·규제 대상 문서는 온디바이스(로컬) LLM에서 처리하고, 공개·일반 작업은 클라우드 AI에 맡기는 것이 현재로선 합리적인 선택이다. 많은 조직은 둘 중 하나를 고르는 대신, 문서 민감도에 따라 두 방식을 나눠 쓰는 하이브리드로 운영한다. 이 글은 로컬 LLM vs 클라우드, 그리고 온프레미스 AI를 검토하는 실무자가 ‘무엇을 포기하고 무엇을 얻는가’를 한 장의 표로 판단할 수 있도록 정리한다.

가장 근본적인 차이는 데이터가 어디서 처리되는가다. 온디바이스 LLM은 모델 추론과 문서 인덱싱을 모두 사용자 기기 안에서 수행하며, 문서를 외부 서버나 클라우드로 전송하지 않는다. 인터넷을 끊은 상태에서도 작동한다. 반면 클라우드 AI는 입력한 텍스트가 외부 서버를 거쳐 처리된 뒤 결과가 돌아온다. 이 한 가지 차이가 보안, 비용, 정확도, 운영 방식 전반으로 갈라진다.

보안: 데이터가 어디로 가는가

클라우드 AI를 쓸 때 입력한 문서는 제공사의 서버로 전송된다. 약관상 학습에 쓰이지 않도록 설정할 수 있는 서비스도 있지만, 데이터가 외부 인프라를 거친다는 사실 자체는 바뀌지 않는다. 법률 의견서, 미공개 재무자료, 환자 기록, 수사·계약 문서처럼 외부 반출이 금지되거나 규제 대상인 문서라면 이 전송 단계 자체가 통과하기 어려운 관문이 된다. ChatGPT에 회사 문서를 그대로 붙여 넣는 행위가 사내 보안 정책 위반이 되는 이유다.

온디바이스 방식은 문서 처리 자체가 기기를 벗어나지 않으므로, 이 전송 단계가 없다. 다만 정확히 말하면 외부 연결이 아예 0인 것은 아니다. Apioni가 네트워크를 쓰는 경우는 두 가지로, (a)첫 실행 때 추론 엔진과 모델을 한 번 내려받을 때와 (b)실행 시 apioni.com에 최신 버전을 확인할 때다. 둘 다 사용자의 문서 내용은 포함하지 않는다. 중요한 것은 이 구분을 신뢰에만 맡기지 않고 사용자가 직접 검증할 수 있다는 점이다. lsof로 어떤 프로세스가 어디에 연결하는지 보거나 패킷을 캡처해 확인하고, 인터넷을 차단한 채 문서 질의가 동일하게 작동하는지 시험하면, 문서 내용이 밖으로 나가지 않는다는 사실을 운영 차원에서 확인할 수 있다. 보안 심사나 내부 감사에서 ‘안전하다고 한다’가 아니라 ‘끊어도 작동한다’를 증거로 제시할 수 있다는 의미다.

> 망분리: 내부망과 외부 인터넷망을 물리적·논리적으로 분리하는 보안 정책. 금융·공공 등 규제 산업에서 요구되며, 외부 서버로 데이터가 나가는 클라우드 AI는 망분리 환경에서 사용이 제한된다. 온디바이스 도구는 이 환경에 부합한다.

비용: 구독 종량제 vs 일회성 구매

비용 구조도 다르다. 클라우드 AI는 보통 사용량 기반 구독이나 종량제로 과금되며, 사용자 수와 처리량이 늘수록 비용도 함께 늘어난다. 온디바이스 도구는 일회성 구매로 운영하는 방식이 가능하다. 예컨대 Apioni는 ₩39,000 일회성 구매로 구독이 없으며, 회사 단위 라이선스는 기기 수에 제한을 두지 않는다. 결제 전 14일 무료로 써 볼 수 있고, 이때 카드나 계정 등록은 필요 없다.

규모가 커질수록 셈법이 갈린다. 소수 인원이 가끔 쓴다면 클라우드의 종량제가 부담이 적을 수 있다. 반대로 여러 부서가 일상적으로 문서를 다루는 환경이라면, 사용량에 비례해 누적되는 구독 비용과 한 번 사두고 인원·기기에 구애받지 않는 구매형의 차이가 점점 벌어진다.

정확도와 성능: 무엇을 포기하는가

정직하게 말하면, 절대 성능에서는 클라우드 AI가 앞서는 영역이 분명하다. 클라우드는 단일 기기에 담기 어려운 대형 모델을 쓸 수 있고, 최신 정보 반영과 확장성에서 유리하다. 복잡한 추론이나 폭넓은 일반 지식이 필요한 작업에서는 이 차이가 드러난다.

온디바이스는 처리 성능이 사용자 PC 사양에 좌우된다. 메모리와 연산 능력에 따라 구동 가능한 모델 크기가 정해지고, 그만큼 응답 속도와 모델 규모에서 트레이드오프가 생긴다. 한계를 분명히 해 두면, 8GB RAM 환경이면 4B급 모델(qwen3:4b-instruct가 정본)까지가 현실적이라 클라우드의 초대형 모델보다 작고 느리다. 실시간 최신 검색도 클라우드 쪽이 유리하다. 다만 ‘내 문서에서 근거를 찾아 답하기’처럼 범위가 분명한 작업에서는 이 격차가 체감상 좁혀진다. 모델이 방대한 일반 지식을 동원하는 대신, 연결된 문서 안에서 관련 근거를 검색해 답하기 때문이다.

여기서 핵심은 검색과 모델 운영 방식이다. Apioni는 Ollama 기반으로 모델을 로컬에서 돌리며, 키워드 검색(BM25)과 의미 기반 검색을 결합한 하이브리드(RRF) 방식을 쓴다. 정확한 용어가 일치해야 잡히는 키워드 검색과, 표현이 달라도 의미가 가까운 문장을 찾는 의미검색을 함께 돌려, 어느 한쪽만으로는 놓치는 결과를 보완한다. 답변에는 근거가 된 출처를 함께 제시해 사용자가 직접 확인하도록 한다.

작은 모델을 그냥 쓰면 한국어 응답 품질이 흔들리기 쉽다. Apioni는 한국어 게이트(ko-v2)를 두어, 자체 실측에서 게이트 없는 naive 구성 대비 정답률이 +14~18%p 높게 나왔다(표본·조건이 한정된 내부 측정값이다). 또 모델을 작게 만드는 양자화(q4_K_M) 과정에서 수치가 손상되는 문제를 막기 위해 수치충실 게이트를 함께 둔다.

운영: 셋업, 유지보수, 감사

운영 관점에서 온디바이스의 부담은 초기 셋업 쪽에 있다. 앱을 설치하고 모델을 내려받아 내 폴더의 문서를 인덱싱하는 과정이 필요하다. 한 번 구성하고 나면, 이후에는 인터넷 의존 없이 로컬에서 동작한다.

대신 감사·심사 관점에서는 강점이 분명하다. 인터넷을 차단한 상태에서 문서 질의가 그대로 도는지 확인할 수 있고, 어떤 통신이 발생하는지 사용자가 직접 검증할 수 있다. lsof로 프로세스별 연결을 들여다보면, 문서를 다룰 때 외부로 나가는 트래픽이 없고 앞서 말한 모델 다운로드·버전 확인만 잡힌다는 점을 본인 PC에서 확인할 수 있다. 클라우드 서비스의 데이터 처리 경로를 외부에서 검증하기 어려운 것과 대비되는 지점이다.

한눈에 보는 비교표

언제 무엇을 써야 하나: 문서 민감도별 의사결정 가이드

전사 일괄 선택보다, 같은 조직 안에서도 문서 민감도 등급에 따라 도구를 나눠 배치하는 편이 현실적이다. 공개·일반 작업은 클라우드의 성능을 활용하고, 외부로 나가면 안 되는 문서는 온디바이스로 처리하는 방식이다.

기밀·규제 등급에서 온디바이스가 적합한 영역은 외부 반출이 막힌 문서를 일상적으로 다루는 직군이다. 법률, 회계·세무, 금융, 공공, 의료·연구, 기업 보안 부서가 대표적이다. 이들 환경에서는 ‘더 똑똑한 모델’보다 ‘문서가 기기를 벗어나지 않는다’가 우선 조건이 된다. Apioni 다운로드 후 내 폴더를 연결해 인덱싱하면, 기밀 문서를 외부로 보내지 않고 질문·요약·작성에 활용할 수 있다.

자주 묻는 질문

온디바이스 LLM은 인터넷이 없어도 정말 작동하나요?

작동한다. 온디바이스 LLM은 모델 추론과 문서 검색을 모두 사용자 기기 안에서 수행하므로 문서 질의에는 인터넷 연결이 필요 없다. 오히려 인터넷을 차단한 상태에서 동일하게 작동하는지 확인하는 것이 문서 내용이 외부로 나가지 않음을 검증하는 방법이 된다. 다만 최초 설치 때 추론 엔진과 모델을 한 번 내려받는 단계, 그리고 실행 시 최신 버전을 확인하는 단계에서는 인터넷을 쓴다. 두 경우 모두 문서 내용은 전송하지 않는다.

로컬 LLM은 클라우드 AI보다 답변 정확도가 많이 떨어지나요?

작업 성격에 따라 다르다. 폭넓은 일반 지식이나 복잡한 추론이 필요한 작업에서는 대형 모델을 쓰는 클라우드가 앞선다. 8GB RAM이면 4B급 모델까지가 현실적이라 절대 성능에서는 차이가 있다. 반면 ‘내 문서에서 근거를 찾아 답하기’처럼 범위가 분명한 작업에서는 격차가 좁혀진다. 연결된 문서 안에서 관련 근거를 검색해 답하고 출처를 함께 제시하며, 한국어 게이트로 작은 모델의 응답 품질을 보정하기 때문에, 문서 기반 업무에서는 실무에 쓸 수 있는 수준이다.

데이터가 외부로 나가지 않는다는 것을 어떻게 확인할 수 있나요?

lsof나 패킷 캡처로 어떤 통신이 발생하는지 확인하고, 인터넷을 차단한 채 문서 질의가 작동하는지 시험하면 된다. 문서를 다룰 때 외부로 나가는 트래픽이 없고, 외부 연결은 모델 다운로드와 버전 확인 두 가지뿐이며 여기에 문서 내용은 포함되지 않는다는 점을 본인 PC에서 직접 볼 수 있다. 보안 심사나 내부 감사에서 ‘안전하다고 한다’가 아니라 동작으로 확인할 수 있다는 점이 온디바이스 방식의 차별점이다.

회사 전체가 클라우드를 버리고 온디바이스로 바꿔야 하나요?

그럴 필요는 없다. 대부분의 조직에는 문서 민감도에 따라 두 방식을 나눠 쓰는 하이브리드 운영이 현실적이다. 공개·일반 작업은 클라우드의 성능을 활용하고, 외부로 나가면 안 되는 기밀·규제 문서만 온디바이스로 처리하면 된다.

온디바이스 도구는 어느 정도 PC 사양이 필요한가요?

온디바이스 도구는 처리 성능이 PC 사양, 특히 메모리와 연산 능력에 좌우된다. 사양에 따라 구동 가능한 모델 크기와 응답 속도가 달라진다. 보유한 기기에서 어느 수준까지 감당되는지는 14일 무료 트라이얼로 직접 확인하는 것이 가장 정확하다.

클라우드에 올릴 수 없는 문서가 있다면

기밀 문서를 클라우드에 올릴 수 없는 환경이라면, 온디바이스 방식이 현실적인 대안이 된다. Apioni는 내 PC에서 문서를 인덱싱하고 출처와 함께 답하는 온디바이스 문서 AI로, 데이터를 외부로 전송하지 않으며 인터넷 없이 작동한다.

먼저 14일 무료 트라이얼로 검증해 볼 수 있다. 카드나 계정 등록 없이 시작할 수 있고, 보유한 기기에서 어느 수준까지 감당되는지 직접 확인한 뒤 결정하면 된다. macOS 빌드는 서명·공증을 거쳐 배포하며 Windows도 지원한다.

• Apioni 다운로드, 14일 무료 트라이얼, 카드·계정 등록 불필요
• Apioni 구매, ₩39,000 일회성, 구독 없음. 회사 단위 라이선스, 기기 수 제한 없음