AI 에이전트가 도구를 호출하거나 데이터를 반출할 때 통제는 필수적입니다. 프롬프트 인젝션을 염두에 두고 최소 권한 원칙을 적용해야 합니다. 에이전트에 고유 신원을 부여하고 OAuth 위임, 짧은 수명의 토큰을 이용해 접근 권한을 엄격하게 제한하세요.
위험 이해: Excessive Agency와 프롬프트 인젝션
AI 에이전트가 스스로 도구를 호출하고 데이터를 처리할 때 가장 큰 보안 위협은 ‘과도한 에이전시(Excessive Agency)’입니다. OWASP LLM06:2025는 과도한 기능과 권한, 자율성을 이 문제의 주요 원인으로 꼽습니다. 에이전트에 필요 이상의 권한을 주면 모델의 자율성이 보안 허점이 되어 의도하지 않은 동작이나 데이터 유출을 부릅니다.
특히 간접 프롬프트 인젝션(Indirect Prompt Injection)은 각별히 주의해야 합니다. 에이전트가 외부 파일이나 웹 페이지를 처리할 때 그 안에 든 악의적인 명령어가 모델 동작을 바꿔버릴 수 있기 때문입니다. 도구 권한을 설계할 때는 프롬프트 인젝션 가능성을 기본으로 가정하고, 에이전트가 수행할 작업 범위를 최소한으로 좁혀야 합니다.
권한 설계 원칙: 최소 권한 및 신원 관리
AI 에이전트 보안 모델 구축의 핵심은 ‘최소 권한 원칙’ 실현입니다. 기능 구현에 그치지 않고, 비즈니스 목적을 위해 반드시 필요한 권한만 에이전트에 부여하세요.
1. 에이전트 고유 신원 부여 및 인증
많은 기업이 사용자의 로그인 세션을 에이전트와 공유하는 실수를 저지릅니다. 사용자 로그인을 그대로 쓰면 사고가 날 때 피해가 커집니다. 피하려면 다음 모범 사례를 따르세요.
- 고유 신원 부여: 각 AI 에이전트에 독립적인 고유 신원을 부여해 관리하세요.
- OAuth 위임 활용: OAuth 위임으로 필요한 권한 범위(Scope)만 정의해 부여합니다.
- 토큰 수명 제한: 수명이 짧은 토큰을 써서 권한 탈취 시 리스크를 줄입니다.
2. 권한 상한선 설정 및 역할 기반 제어
인프라 수준의 통제도 중요합니다. AWS는 생성형 AI 설계 원칙에서 에이전트 실행 역할에 최소 권한을 적용하고, 부여할 권한의 상한선을 미리 설정하라고 권고합니다. Microsoft Azure도 Azure RBAC(역할 기반 액세스 제어)를 활용해 에이전트에 최소 권한 역할을 적용할 것을 권장합니다.
기술적 통제 전략: 접근 제어 아키텍처
권한 오남용과 데이터 반출을 막으려면 다음 기술적 전략을 도입하세요.
권한 관리 전략 비교
| 전략 | 핵심 개념 | 보안 기대 효과 |
|---|---|---|
| JIT (Just-In-Time) | 필요한 시점에만 일시적으로 권한 부여 | 상시 권한 보유로 인한 공격 표면 감소 |
| ZSP (Zero Standing Privilege) | 기본적으로 보유한 상시 권한을 제로화 | 권한 오남용 및 무단 접근 가능성 원천 차단 |
| RBAC (Role-Based Access Control) | 정의된 역할에 따라 권한 할당 | 조직적 수준의 일관된 권한 통제 가능 |
도구 호출 및 데이터 통제 프로세스
에이전트가 외부 API나 DB에 접근하는 도구(Tool)를 호출할 땐 다음 단계를 거쳐야 합니다.
- 권한 검증: 호출하려는 도구가 에이전트의 고유 신원에 할당된 스코프 안에 있는지 확인합니다.
- 입력값 검증: 프롬프트 인젝션으로 조작된 인자값이 넘어오지 않았는지 검증합니다.
- 상한선 체크: 실행하려는 작업이 미리 설정한 권한 상한선을 넘지 않는지 확인합니다.
운영 및 거버넌스: 승인 절차와 감사 로그
기술적 권한 제한만으로 모든 리스크를 지울 수는 없습니다. 안전한 운영을 위해 권한 관리, 승인 체계, 감사 시스템을 유기적으로 연결해야 합니다.
1. Human-in-the-loop (HITL) 승인 체계
민감한 데이터에 접근하거나 데이터를 외부로 반출하는 고위험 작업에는 반드시 사람이 개입해 승인해야 합니다. AI 에이전트의 자율적 판단으로 생길 수 있는 치명적인 오류나 보안 사고를 최종 단계에서 막는 안전장치입니다.
2. 감사 및 모니터링 시스템
모든 에이전트 활동은 기록하고 추적해야 합니다. 보안 거버넌스 체계에 다음 요소를 포함하세요.
- 상세 감사 로그: 에이전트가 어떤 도구를 호출했고, 어떤 데이터에 접근했으며, 최종적으로 어떤 결과물을 반출했는지 모든 이력을 기록합니다.
- 실시간 모니터링: 비정상적인 권한 요청이나 반복적인 권한 거부 사례를 실시간으로 감지해 보안 담당자에게 알립니다.
AI 에이전트 권한 모델은 ‘신뢰하되 검증하는’ 구조가 아닌, ‘기본적으로 신뢰하지 않는(Zero Trust)’ 관점에서 설계해야 합니다. 고유 신원 부여와 최소 권한 적용, 사람의 승인 절차를 결합하면 기업은 AI 에이전트의 생산성을 높이면서 보안 리스크를 효과적으로 통제할 수 있습니다.