망분리가 AI 보안 위협 모델을 어떻게 바꾸는가
해외 AI 보안 연구는 대부분 인터넷 연결을 전제로 한다. 그런데 국내 금융·공공은 망분리 환경이다. 외부 유출 경로가 막힌 대신 어떤 위협이 새로 부상하는지, 한국 엔터프라이즈만의 위협 모델을 정리한다.
Johann Rehberger가 보여준 간접 프롬프트 인젝션 공격들 — 웹페이지에 숨긴 명령으로 AI를 조종하고, DNS나 URL로 데이터를 몰래 빼내는 — 은 대단히 정교하다. 그런데 이 공격들을 국내 금융·공공 환경에 그대로 대입하려다 보면 한 가지 전제가 어긋난다. 그 공격 대부분이 인터넷 연결을 전제로 한다는 것.
한국의 금융권·공공기관 상당수는 망분리(network segregation) 환경에서 돌아간다. 외부 LLM API를 직접 호출할 수 없고, 인터넷에서 임의 콘텐츠를 끌어오지도 못한다. 이 조건은 AI 보안 위협 모델을 근본적으로 바꾼다. 이 글은 그 변화를 정리한 것이다.
결론 먼저
- 망분리는 “외부 유출(exfiltration)” 경로를 크게 줄인다. 해외 연구가 강조하는 DNS·URL·웹 기반 데이터 유출은 폐쇄망에서 상당 부분 무력화된다.
- 하지만 위협이 사라지는 게 아니라 안으로 이동한다. 내부 RAG 데이터 오염, 내부자 위협, 그리고 승인된 게이트웨이의 단일 실패점(single point of failure)이 새로운 핵심 위협이 된다.
- “외부와 차단됐으니 안전하다”는 가장 위험한 착각이다. 망분리는 위협 표면을 재배치할 뿐, 없애지 않는다.
해외 위협 모델은 무엇을 전제하는가
영어권 AI 보안 연구의 대표적 공격 시나리오를 뜯어보면 대개 다음을 가정한다.
- AI가 인터넷의 임의 콘텐츠(웹페이지, 이메일, 문서)를 읽어들인다 → 여기에 숨긴 명령으로 간접 인젝션.
- 탈취한 데이터를 외부로 내보낸다 → 이미지 URL 요청, DNS 쿼리, 외부 API 호출 등으로 익스필트레이션.
- AI 에이전트가 외부 도구·서비스에 접근 권한을 갖는다 → 권한 오남용.
이 세 전제는 인터넷에 연결된 소비자·상용 AI 환경에서는 타당하다. 그런데 망분리 환경에서는 하나씩 무너진다.
망분리가 바꾸는 것
1. 외부 유출 경로가 막힌다 (좋은 소식)
폐쇄망에서는 AI가 임의의 외부 URL을 호출할 수 없다. DNS 익스필트레이션도, 외부 이미지 로딩을 통한 데이터 유출도 경로 자체가 끊긴다. 해외 연구에서 가장 화려한 공격들이 여기서 상당수 무력화된다. 이건 명백한 이점이다.
2. 위협이 내부로 이동한다 (나쁜 소식)
문제는 위협이 사라지는 게 아니라 표적이 내부로 바뀐다는 것이다.
- 내부 RAG 데이터 오염. 폐쇄망 LLM은 대개 내부 문서를 검색해 답하는 RAG 구조로 쓰인다. 공격자(또는 악의적 내부자)가 내부 문서 저장소에 오염된 문서를 심으면, 그 문서가 검색되는 순간 간접 프롬프트 인젝션이 성립한다. 인터넷이 없어도 “내부 콘텐츠”라는 인젝션 벡터는 그대로 살아있다.
- 내부자 위협의 비중 상승. 외부 공격 경로가 줄면, 상대적으로 내부자의 오남용·유출 비중이 커진다. 승인된 사용자가 내부 LLM으로 대량의 민감 정보를 조회·요약·반출하는 시나리오는 망분리로 막히지 않는다.
- 승인된 게이트웨이가 단일 실패점이 된다. 폐쇄망에서 외부 AI를 쓰려면 대개 통제된 게이트웨이(프록시/중계 서버) 하나를 열어둔다. 이 지점이 뚫리거나 오설정되면, “유일하게 허용된 통로”가 곧 “유일하게 필요한 침투 경로”가 된다. 방어가 이 한 점에 집중되는 만큼, 공격도 이 한 점에 집중된다.
3. 내부 LLM 자체가 자산이자 표적이 된다
외부 API를 못 쓰니 내부에 모델을 두게 된다. 이 내부 모델의 학습 데이터, 시스템 프롬프트, 파인튜닝 데이터가 모두 내부망에 존재하는 민감 자산이 된다. 시스템 프롬프트 유출, 모델 파일 반출, 학습 데이터 추출 같은 위협이 “외부 서비스의 문제”가 아니라 “우리 자산의 문제”로 들어온다.
재배치된 위협 표면 정리
| 위협 | 인터넷 연결 환경 | 망분리 환경 |
|---|---|---|
| 외부 데이터 유출(DNS/URL) | 높음 | 낮음 (경로 차단) |
| 간접 프롬프트 인젝션 | 웹 콘텐츠 경유 | 내부 RAG 문서 경유 |
| 내부자 위협 | 중간 | 높음 (상대 비중 상승) |
| 게이트웨이 오남용 | 분산됨 | 단일 실패점으로 집중 |
| 모델 자산 유출 | 벤더 책임 영역 | 자체 자산 관리 책임 |
실무 시사점
- “외부 차단 = 안전” 프레임을 버려라. 망분리는 위협을 재배치할 뿐이다. 위협 모델을 내부 중심으로 다시 그려야 한다.
- 내부 RAG 파이프라인을 인젝션 벡터로 취급하라. 내부 문서라고 신뢰하지 말고, RAG에 들어가는 콘텐츠도 검사 대상에 포함해야 한다. 이것이 제로 트러스트가 AI에 적용되는 지점이다.
- 게이트웨이를 최소 권한·다중 방어로 설계하라. 유일한 통로일수록 그 한 점에 로깅·정책·이상탐지를 두껍게 쌓아야 한다.
- 내부자 오남용에 대한 감사 로깅을 갖춰라. 누가 내부 LLM으로 무엇을 조회했는지 추적 가능해야 한다. 외부 유출이 막힌 만큼, 방어의 초점은 “행위 감사”로 옮겨간다.
마치며
해외 AI 보안 연구는 참고할 가치가 크지만, 그 위협 모델을 국내 폐쇄망 환경에 그대로 옮기면 어긋난다. 망분리는 특정 공격을 무력화하는 강력한 통제이면서, 동시에 방어자를 안심시켜 내부 위협을 놓치게 만드는 함정이기도 하다.
제로 트러스트의 기본 명제 — “내부라고 신뢰하지 않는다” — 는 AI 시대에 더 정확해진다. 망으로 나뉘어 있어도, 신뢰의 경계는 사람과 데이터와 모델 사이에 다시 그어져야 한다.
이 글은 공개 가능한 일반론만 다룬다. 특정 기관의 망 구성이나 내부 시스템 정보는 포함하지 않는다.