망분리 환경에서 쓸 수 있는 생성형 AI는 무엇인가
망분리 생성형 AI를 찾는다면 답은 온디바이스 방식이다. 인터넷이 차단된 망분리 환경에서 ChatGPT나 Copilot 같은 클라우드 생성형 AI는 쓸 수 없지만, 모든 처리가 PC 안에서 끝나는 온디바이스 문서 AI는 사용할 수 있다. 클라우드 AI는 입력한 문서를 외부 서버로 보내 처리하는 반면, 온디바이스 AI는 데이터를 기기 밖으로 내보내지 않기 때문이다.
그래서 폐쇄망 AI를 찾는 공공기관, 금융, 의료, 법률 실무자에게 더 현실적인 질문은 “어떤 서버를 구축할까”가 아니라 “지금 이 PC 한 대에서 외부 통신 없이 돌아가는 도구가 무엇인가”이다.
망분리란 무엇인가
망분리는 인터넷망과 내부 업무망을 분리해 외부 위협이 내부 자료에 닿지 못하게 막는 보안 정책이다. 외부에서 들어오는 해킹과 악성코드를 차단하고, 내부 기밀이 인터넷으로 새어 나가는 경로를 끊는 것이 목적이다. 공공기관, 금융권, 일부 의료 및 연구기관에 적용되며, 전자금융감독규정이나 공공기관 망분리 지침 같은 규제가 이를 뒷받침한다.
핵심 원칙은 업무망에서 외부 통신이 발생하지 않아야 한다는 것이다. 이 원칙 때문에 외부 서버와 통신해야 작동하는 도구는 업무망에 들일 수 없다.
왜 망분리 환경에서 클라우드 생성형 AI는 막히는가
클라우드 생성형 AI는 사용자가 입력한 질문과 문서를 외부 서버로 전송해 그곳에서 처리한 뒤 결과를 돌려주는 구조다. 작동 자체가 외부 통신을 전제로 한다.
이 구조는 망분리의 목적과 정면으로 충돌한다. 기밀 문서를 클라우드 AI에 입력하는 순간 그 내용이 업무망 밖으로 나가게 되고, 이는 망분리가 막으려는 바로 그 경로다. 그래서 보안이 적용된 내부망에서는 클라우드 AI 접속 자체가 차단되어 있는 경우가 대부분이다.
흔한 우회 시도와 그 한계
규제 안에서 생성형 AI를 쓰려는 시도는 몇 가지로 나뉜다.
- 파일 반출 후 외부 PC에서 처리: 문서를 인터넷이 되는 별도 PC로 옮겨 클라우드 AI에 넣는 방식이다. 절차가 번거롭고, 기밀 문서를 외부로 옮기는 행위 자체가 보안 사고의 출발점이 될 수 있다.
- 별도 인터넷 PC 운영: 직원마다 인터넷용 PC를 따로 두는 방식이지만, 결국 기밀 문서는 그 PC로 가져갈 수 없어 정작 필요한 작업에는 쓰지 못한다.
- 서버 구축형 온프레미스 LLM: 조직 내부에 GPU 서버를 두고 사설 LLM을 올리는 방식이다. 외부 전송이 없다는 점에서 방향은 맞지만, 고가의 GPU 서버 도입과 수개월의 구축 기간, 모델 운영 인력이 필요하다. 당장 검증해보고 싶은 실무자에게는 진입 장벽이 높다.
여기서 자주 놓치는 선택지가 하나 있다. 서버를 구축하지 않고 개별 PC 안에서 완결되는 온디바이스 방식이다.
온디바이스 AI가 답인 이유
온디바이스 AI는 모델 실행, 문서 처리, 답변 생성까지 모든 과정이 사용자 기기 안에서 일어나는 방식이다. 외부 서버로 데이터를 보내지 않으므로 인터넷을 꺼도 작동한다.
망분리 환경에서 이 구조가 중요한 이유는 세 가지다.
- 외부 전송이 없다. 처리가 단말 안에서 끝나기 때문에 기밀 문서가 업무망 밖으로 나갈 경로가 없다.
- 인터넷을 꺼도 작동한다. 외부 통신에 의존하지 않으므로 폐쇄망에서도 그대로 동작한다.
- 통신 여부를 직접 검증할 수 있다. 외부로 나가지 않는다는 점을 사용자가 단말 수준에서 확인할 수 있다는 것이 서버 구축형과 다른 지점이다.
클라우드 AI, 서버 구축형 온프레미스, 온디바이스 비교
| 구분 | 클라우드 AI | 서버 구축형 온프레미스 | 온디바이스(Apioni) |
|---|---|---|---|
| 인터넷 필요 | 필요 | 불필요(내부망) | 불필요 |
| 외부 데이터 전송 | 있음 | 없음 | 없음 |
| 도입 규모 | 계정 단위 | GPU 서버, 구축 기간, 운영 인력 | PC에 설치 |
| 통신 차단 검증 | 해당 없음 | 서버 및 네트워크 관리 영역 | 단말에서 직접 확인 |
| 비용 구조 | 구독(월, 연) | 서버 구축 및 운영 비용 | 일회성 구매 |
직군별 활용 시나리오
망분리 환경에서 온디바이스 문서 AI는 클라우드에 올릴 수 없는 문서를 다룰 때 실무적인 도움이 된다.
- 법률: 미공개 계약서나 소송 자료를 인덱싱해 두고, 특정 조항의 근거를 출처와 함께 확인하며 검토한다.
- 회계 및 세무: 감사 조서나 내부 회계 자료를 요약하고, 관련 규정 문서에서 근거를 찾아 대조한다.
- 금융: 외부 반출이 금지된 심사 자료나 내부 보고서를 질문 답변 방식으로 빠르게 파악한다.
- 공공: 대외비 정책 문서를 단말 안에서 검색하고 요약해 업무망 밖으로 내보내지 않는다.
- 의료 및 연구: 환자 정보나 미공개 연구 자료를 기기 안에서만 다루며 외부 전송 없이 정리한다.
Apioni를 망분리 환경에 적용하기
Apioni는 인터넷 없이 내 PC에서 작동하는 온디바이스 문서 AI다. Tauri 기반 데스크톱 앱으로 동작하며(macOS 서명·공증, Windows 지원), Ollama 기반 온디바이스 LLM과 임베딩 모델을 기기 안에서 구동한다. 8GB RAM 기준 정본 모델은 4B급(qwen3:4b-instruct)이며, 문서 내용은 PC 밖으로 나가지 않는다.
외부 연결을 정확히 적으면 두 가지뿐이다. 하나는 첫 실행 때 엔진과 모델을 한 번 내려받는 다운로드이고, 다른 하나는 실행 시 apioni.com에 새 버전이 있는지 확인하는 요청이다. 둘 다 사용자 문서를 담지 않으며, 인터넷을 끊은 뒤에는 발생하지 않는다. 통신이 실제로 어디로 가는지는 lsof나 패킷 캡처로 직접 확인할 수 있다.
실무 적용은 다음 흐름으로 이어진다.
- 폴더 문서 인덱싱: 내 폴더의 문서를 연결하면 Apioni가 이를 인덱싱한다. 인덱싱된 문서를 대상으로 질문 답변, 요약, 문서 작성을 수행한다.
- 출처와 함께 제시: 답변에 근거가 된 문서 출처를 함께 보여줘, 어디서 나온 내용인지 확인하며 쓸 수 있다.
- 하이브리드 검색: 키워드 검색(BM25)과 의미 검색을 결합한 하이브리드(RRF) 방식으로 문서를 찾는다. 정확한 용어가 들어간 문서와 맥락이 비슷한 문서를 함께 끌어온다.
- 네트워크 자가검증: 앱의 통신 현황을 사용자가 직접 점검하도록 돕는 기능이 있다. 보안 검토 시 외부로 나가지 않는다는 점을 말로 듣는 데 그치지 않고
lsof나 패킷 캡처로 단말에서 확인할 수 있다.
정확도 측면에서는 한국어 처리 게이트(ko-v2)를 거쳐 보정 없는 기본 응답 대비 정답률이 자체 실측 기준 약 14~18%p 높았다(표본·조건 한정). 답을 만들 때 수치를 그대로 옮기는지 점검하는 게이트로 양자화(q4_K_M) 과정에서 생기는 수치 손상도 걸러낸다.
다만 한계도 분명하다. 8GB RAM에서는 4B급 모델까지 돌아가므로 클라우드의 초대형 모델보다 작고 느리며, 실시간 최신 정보 검색은 인터넷에 연결된 클라우드 쪽이 유리하다. 기기 안에 있는 문서를 출처와 함께 다루는 작업이 온디바이스 방식의 강점이 놓이는 지점이다.
도입 단위 측면에서는 회사 단위 라이선스에 기기 수 제한이 없어, 여러 대의 망분리 PC에 설치하는 환경에 맞는다. 가격은 ₩39,000 일회성 구매이며 구독이 없다.
도입 전 확인할 점 (보안 검토 체크리스트)
생성형 AI 도구를 망분리 환경에 들이기 전, 보안 담당자가 점검할 항목은 다음과 같다. 법적 적합성은 각 기관의 규정과 검토 절차에 따라 판단해야 하며, 아래는 그 검토에 필요한 구조적 요건이다.
- 외부 통신 발생 여부: 작동 중 외부 서버와 통신이 일어나는가. 인터넷을 차단한 상태에서 정상 작동하는가.
- 데이터 저장 위치: 입력 문서와 인덱스가 기기 안에 저장되는가, 외부로 복제되는가.
- 검증 수단: 외부 전송이 없음을 사용자나 관리자가 직접 확인할 방법이 있는가.
- 라이선스 범위: 설치 가능한 기기 수와 회사 단위 사용 가능 여부.
- 업데이트 경로: 모델과 앱 업데이트가 어떤 방식으로 이루어지는가, 폐쇄망에서 적용 가능한가.
자주 묻는 질문
망분리 환경에서 ChatGPT를 쓸 수 있나요?
쓸 수 없다. ChatGPT는 입력한 내용을 외부 서버로 전송해 처리하는 클라우드 서비스이고, 망분리 환경은 외부 통신을 차단하기 때문이다. 망분리 환경에서는 외부 전송 없이 기기 안에서 작동하는 온디바이스 AI가 대안이 된다.
인터넷을 완전히 꺼도 Apioni가 작동하나요?
작동한다. Apioni는 LLM과 임베딩 모델을 기기 안에서 구동하므로 외부 통신에 의존하지 않는다. 인터넷을 차단한 상태에서 문서 인덱싱, 질문 답변, 요약을 그대로 수행한다.
외부로 데이터가 전송되지 않는다는 걸 어떻게 확인하나요?
직접 점검하면 된다. lsof나 패킷 캡처로 앱이 어디에 연결하는지 단말에서 그대로 볼 수 있다. Apioni가 외부에 연결하는 경우는 첫 실행 때 엔진·모델 다운로드와 실행 시 버전 확인 두 가지뿐이고, 둘 다 문서 내용을 담지 않는다. 인터넷을 물리적으로 차단한 PC에서 문서 작업이 그대로 작동하는지 보면 문서가 밖으로 나가지 않는다는 점을 단말 수준에서 확인할 수 있다.
회사에서 여러 대 PC에 설치할 수 있나요?
가능하다. Apioni는 회사 단위 라이선스를 제공하며 기기 수 제한이 없다. 여러 대의 망분리 PC에 설치해 사용할 수 있고, 가격은 ₩39,000 일회성 구매다.
직접 검증해보기
망분리 환경에 맞는지 가장 확실하게 아는 방법은 직접 돌려보는 것이다. Apioni는 카드나 결제정보 없이 14일 무료 트라이얼을 제공한다. 인터넷을 끊은 망분리 PC에 설치해, 외부 통신 없이 문서 질문 답변과 요약이 작동하는지 확인해볼 수 있다.
Apioni 다운로드하거나 구매 페이지에서 자세한 내용을 확인할 수 있다.