본문으로 건너뛰기

기획·PM › 기획·분석

Enterprise AI Gateway 기획안 — 외부 LLM 앞단의 민감정보 치환·복원 게이트웨이

외부 LLM을 쓸 때 개인정보·기밀을 치환해 보내고 응답을 내부에서 복원하는 보안 게이트웨이 구조와 사업화 방안을 정리한 기획안

기획
기간
2026.07 (노션 페이지 생성일(2026-07-19) 기준)
상태
문서 단계 — 구현·데모 없음. 기존 노션의 「데모 웹사이트」 묶음에서 기획안으로 옮김
맥락
회사 표기 없는 기획 문서(본인 작성 — 본인 확인 D11)
역할
기획안 작성 — 문제 정의, 처리 구조·시퀀스 설계, 기능 범위, 배포 판(Community·Enterprise)과 수익 모델, 단계별 구축 방향, 위험·의사결정 과제 정리
구현
원문에 작성 도구 표기 없음
기술
HTML 문서, Mermaid(구성도·시퀀스 도식)

핵심 수치.

집계

14절

기획안 구성(문서 목적 ~ 결론), HTML 문서·Mermaid 도식, 구현 없음

집계

8건

기획안이 정리한 주요 위험과 대응 방안

집계

11건

기획안에 남긴 검토·의사결정 과제

개요

기업이나 교육기관이 GPT·Claude·Gemini 같은 외부 LLM을 쓸 때 생기는 개인정보·내부 기밀 유출 위험을 줄이려고, 외부 호출 전에 민감정보를 탐지·치환하고 응답을 받은 뒤 내부에서 원래 값으로 복원하는 보안 게이트웨이 구조를 정의한 기획안이다.

문서 단계에 머문 기획으로, 구현물이나 데모는 없다.

본인 역할

  • 기획안을 직접 작성했다(본인 확인 2026-10-30, D11). 작성에 쓴 도구는 원문에 표기돼 있지 않다.
  • 문서는 처리 흐름 9단계, 전체 아키텍처·시퀀스 도식, 마스킹·복원 예시, 핵심 기능 4영역, 교육기관 적용, 배포 판·수익 모델, 4단계 구축 방향, 위험과 의사결정 과제를 다룬다.

핵심 판단

  • 데이터 종류마다 처리 경로를 나눴다. 교육기관 적용 예시에서 공개 강의자료는 기본 검사 뒤 외부 LLM으로, 학생 이름·학번이 든 질문은 개인정보를 치환한 뒤 외부로, 상담 기록과 미공개 시험문제는 외부 전송을 막고 로컬 LLM으로, 인사·징계·건강 정보는 최고 보안등급으로 내부에서만 처리하도록 정했다.
  • 치환 예시는 회사명·프로젝트명·인물·이메일을 [COMPANY_001] 같은 임시 식별자로 바꿔 보내고, 외부 응답 속 식별자를 내부에서 원래 값으로 되돌리는 과정을 단계별로 보여 준다.

결과

  • 핵심 설계 원칙으로 민감정보 제거를 로컬 LLM에만 맡기지 않고 정규식·사전 탐지, NER 모델, DLP 규칙, 로컬 LLM 보조 판별, 기업별 Policy Engine, 원본·치환값을 보관하는 Mapping Vault를 함께 쓰며, 외부 LLM에는 원본과 매핑 테이블을 보내지 않는다고 정했다.
  • 정책 엔진이 외부 전송을 막으면 로컬 LLM으로 처리하고, 허용할 때만 치환된 요청을 외부 LLM으로 보내는 분기와, 응답을 다시 검사한 뒤 복원하고 감사 기록을 남기는 흐름을 Mermaid 도식으로 그렸다.
  • 사업 측면은 무료 Community Edition으로 사용자를 모으고 Enterprise License·구축·유지보수로 수익을 내는 Open-core 방식, MVP → 보안 고도화 → 기업 기능 → AI 플랫폼 확장의 4단계, 위험 8건과 의사결정 과제 11건으로 정리했다.

한계와 다음 단계

  • 구현·시연·성능 검증이 없는 기획안이다. 결론의 「기술적으로 구현 가능하며 실제 수요가 발생할 수 있다」는 기획안의 판단이며 검증된 결과가 아니다.
  • 오픈소스 라이선스, 무료·기업용 판의 기능 경계, 민감정보 분류 체계, 로컬 LLM 선정, 초기 타깃 고객과 가격 정책은 문서에서도 「검토 및 의사결정 과제」로 남아 있다.
  • 과제 성격(소속·발주 관계)이 확인되지 않아 성격 표기를 생략한다.

기술

  • 기획 문서(HTML) · Mermaid 11(구성도·시퀀스 도식) — 문서에 등장하는 구성요소(NER·DLP·Policy Engine·Mapping Vault·Model Router)는 설계 대상이며 구현 기술이 아니다.

관련 사례.

문서 기반 챗봇의 질문 처리 흐름 — 벡터 검색 유사도가 낮으면 관련 문서가 없다고 바로 응답, 높으면 LLM이 출처를 인용해 답하고 SSE 스트리밍으로 출력

지식·챗봇

고객사 시험운영

문서 기반 AI 챗봇 V3 — PDF 질의응답 챗봇

관리자가 올린 PDF를 근거로 답하는 챗봇. 기본 질의응답 경로를 로컬 LLM 구조로 바꿔 고객사 시험운영까지 진행

65.2/100 → 82.9/100 · 코드 리뷰 평균 점수 — 같은 4개 항목·검증 모델 GPT-5-mini, 1차 → 3차, 2026-03-25

2026.03 ~ 2026.04요약 사례

폐쇄망 GPU 서버 로컬 LLM 구축·운영 구성도

인프라

운영 중

폐쇄망 GPU 서버 로컬 LLM 구축·운영

인터넷이 없는 GPU 서버에 드라이버부터 추론 서버까지 반입 파일로 세우고, 사용률 관리와 런타임 패치까지 운영했다

85.9 tok/s · Gemma 4 26B q4_0, V100 32GB 2장 layer split(llama.cpp CUDA), 2026.08 설치 검증

2026.08 ~ 2026.10상세 사례