AI 모델의 활용도가 높아짐에 따라, 프롬프트 인젝션(Prompt Injection), 데이터 유출, 권한 오용 등 보안 위협이 급증하고 있습니다. 본 가이드는 AI 시스템을 설계하고 운영할 때 반드시 고려해야 할 기술적, 운영적 방어 메커니즘을 제시합니다.
Ⅰ. 위협 이해: 왜 AI 시스템이 취약한가?
AI 시스템은 사용자의 의도와 모델의 추론 과정이 결합되면서 예측 불가능한 방식으로 작동합니다. 주요 위협 벡터는 다음과 같습니다.
- 프롬프트 인젝션 (Prompt Injection): 악의적인 입력(프롬프트)을 통해 모델이 시스템의 원래 지침(System Prompt)을 무시하고, 공격자가 원하는 행동을 수행하도록 속이는 행위입니다.
- 데이터 유출 (Data Leakage): 모델이 학습 데이터에 포함된 민감 정보를 그대로 출력하거나, 사용자가 입력한 개인 식별 정보(PII)를 제3자에게 노출하는 경우입니다.
- 권한 상승 (Privilege Escalation): AI 에이전트가 시스템 자원(외부 API, 데이터베이스)에 접근할 때, 부여된 권한 이상의 작업을 수행하도록 유도되는 경우입니다.
Ⅱ. 기술적 방어 메커니즘 (Technical Guardrails)
시스템 레벨에서 구현해야 하는 필수적인 방어 장치들입니다.
1. 입력 필터링 및 검증 (Input Validation & Sanitization)
모든 사용자 입력(User Input)은 잠재적인 공격 코드로 간주하고 처리해야 합니다.
- 스키마 검증: 입력 데이터가 예상되는 데이터 형식(예: 숫자만 허용, 특정 길이 제한)을 벗어날 경우 즉시 거부합니다.
- 블랙리스트/화이트리스트: 시스템 프롬프트나 API 호출에 사용될 수 있는 특정 키워드, 명령어 구조 등을 화이트리스트로 제한합니다.
- 토큰 기반 검사: 입력 프롬프트에 시스템 지침을 우회하려는 패턴(예: “Ignore the above instructions and…”)이 감지되면 플래그를 지정하고 경고를 발생시킵니다.
2. 출력 필터링 및 검증 (Output Validation & Filtering)
모델이 생성한 결과물(Model Output)이 안전한지 검사하는 과정이 필수적입니다.
- 민감 정보 마스킹: 출력 결과물에서 PII, API 키, 내부 시스템 식별자 등이 감지되면 자동으로 마스킹 처리합니다.
- 지침 준수 검사: 모델이 생성한 답변이 최초 시스템 프롬프트가 설정한 ‘출력 형식’과 ‘톤 앤 매너’를 벗어나는지 검사합니다.
- 취약점 검사: 생성된 코드가 실행 가능한 형태일 경우, 해당 코드를 실행하기 전에 정적 분석(Static Analysis)을 통해 보안 취약점을 검사합니다.
3. 프롬프트 분리 및 격리 (Prompt Separation & Sandboxing)
시스템 지침과 사용자 입력을 명확하게 분리하여 모델이 혼동하지 않도록 구조화해야 합니다.
- 시스템 프롬프트 분리: 시스템 지침은 일반 사용자 입력과 완전히 분리된 별도의 전용 필드(System Role)로 모델에 주입되어야 합니다.
- 샌드박스 환경: 외부 API 호출이나 코드 실행은 격리된 샌드박스 환경에서만 수행하도록 강제합니다. 에이전트가 외부 시스템에 접근할 때마다 명시적인 승인(Approval) 메커니즘을 거치도록 설계합니다.
Ⅲ. 운영적 방어 메커니즘 (Operational Guardrails)
기술적 방어만으로는 부족합니다. 시스템의 운영 정책과 모니터링이 병행되어야 합니다.
1. 최소 권한 원칙 (Principle of Least Privilege, PoLP)
AI 에이전트가 접근할 수 있는 모든 자원(데이터베이스, 외부 API)에 대해 가장 최소한의 권한만 부여해야 합니다.
- API 단위 권한 부여: “데이터베이스 전체 읽기” 대신, “특정 테이블의 특정 컬럼 읽기”와 같이 세분화된 권한을 부여해야 합니다.
- 읽기 전용 우선: 모델이 정보를 가져와서 답변을 생성하는 경우, 쓰기(Write) 권한을 부여하는 것을 최대한 지양합니다.
2. 감사 및 로깅 (Auditing and Logging)
모든 상호작용은 투명하게 기록되어야 합니다.
- 전체 트랜잭션 로깅: 사용자 입력, 시스템 지침, 모델의 최종 출력, 그리고 사용된 모든 외부 API 호출 기록을 시간 순서대로 기록합니다.
- 이상 징후 탐지 (Anomaly Detection): 평소와 다른 패턴의 API 호출 시도, 갑작스러운 대량의 데이터 요청, 혹은 반복적인 시스템 명령어 시도 등이 감지되면 즉시 경보를 발생시키고 해당 사용자를 일시적으로 차단합니다.
3. 인간의 검토 루프 (Human-in-the-Loop, HITL)
결정적이고 위험도가 높은 작업은 반드시 사람이 최종적으로 검토하는 단계를 거쳐야 합니다.
- 고위험 작업: 금전 거래, 법률 자문, 시스템 설정 변경 등은 모델의 결과물만으로 처리하지 않고, 반드시 담당자가 최종 확인 버튼을 누르도록 설계해야 합니다.
💡 요약 체크리스트
| 영역 | 핵심 방어 조치 | 목표 |
| :— | :— | :— |
| 입력 | 스키마 검증, 패턴 필터링 | 악성 명령어를 시스템에 주입 차단 |
| 출력 | PII 마스킹, 결과물 형식 검사 | 민감 정보 유출 및 오염 방지 |
| 권한 | 최소 권한 원칙(PoLP) 적용 | 공격자가 피해 범위를 최소화하도록 제한 |
| 운영 | 모든 상호작용 로그 기록 및 모니터링 | 사고 발생 시 추적 및 사후 분석 기반 마련 |
| 최종 단계| 고위험 작업은 인간의 최종 승인 필수 | 결정적 오류 및 책임 소재 명확화 |