AI 에이전트가 외부 도구를 호출할 때 가장 위험한 부분은 모델의 출력이 조회나 수정, 전송 같은 실제 실행으로 곧바로 이어진다는 점입니다. 이 과정에서 신뢰할 수 없는 외부 지시가 모델의 판단에 개입하면, 의도치 않게 데이터에 접근하거나 시스템을 바꿀 위험이 큽니다.
AI 에이전트 외부 도구 호출의 보안 위험
기업은 업무 자동화를 위해 AI 에이전트에 외부 도구 호출 기능을 주지만, 이는 새로운 공격 경로가 됩니다. 모델의 출력이 곧바로 실행으로 이어지기 때문에 보안 위험이 따릅니다.
텍스트를 만드는 것을 넘어 실제 시스템에 영향을 주는 ‘실행’ 권한을 주면, 모델의 오판이나 외부의 악의적인 유도가 곧바로 데이터 유출이나 시스템 설정 변경으로 이어집니다. AI 에이전트를 도입할 때는 기술적 편의성보다 보안 통제가 먼저입니다.
간접 프롬프트 인젝션의 위협 메커니즘
AI 에이전트는 웹 페이지나 문서 같은 외부 데이터를 자주 읽어옵니다. 이때 가장 치명적인 위험이 바로 간접 프롬프트 인젝션(Indirect Prompt Injection)입니다.
신뢰할 수 없는 문서나 웹 페이지에 숨어 있는 특정 지시가 AI 에이전트의 판단 과정에 섞이면 발생합니다. 공격은 다음 단계로 커집니다.
- 지시 사항의 유입: 에이전트가 외부 웹 페이지나 문서를 조회하는 과정에서 공격자가 심어둔 악의적인 지시어를 읽어 들임
- 판단 오염: 외부 지시가 모델의 원래 시스템 프롬프트보다 우선하거나 섞이면서 에이전트의 판단 체계가 왜곡됨
- 권한 남용: 에이전트에게 부여된 넓은 도구 권한과 결합해 의도하지 않은 데이터 접근, 외부 전송, 혹은 기업 내부 시스템 변경으로 이어짐
OWASP LLM06: 과도한 대행(Excessive Agency)
보안 표준 기관인 OWASP는 이러한 AI 에이전트의 보안 취약점을 LLM06:2025 Excessive Agency로 분류합니다. AI 에이전트가 필요 이상의 기능, 권한, 자율성을 가질 때 발생하는 위험을 뜻합니다.
과도한 대행 위험을 부르는 주요 원인은 세 가지입니다.
- 과도한 기능: 에이전트가 수행할 필요가 없는 기능까지 도구로 제공됨
- 과도한 권한: 읽기 권한만으로 충분한 작업에 수정이나 삭제 권한이 부여됨
- 과도한 자율성: 인간의 검토(Human-in-the-loop) 없이 모델의 판단만으로 실행 단계까지 즉시 진행됨
AI 에이전트 보안 위험 요약 및 분석
| 위험 요소 | 발생 원인 | 잠재적 영향 | 근거 ID |
| :— | :— | :— | :— |
| 외부 도구 호출 경로 | 모델 출력 $\rightarrow$ 즉시 실행 연결 | 무단 데이터 조회, 수정, 전송 발생 | |
| 간접 프롬프트 인젝션 | 신뢰할 수 없는 외부 지시 유입 | 데이터 외부 유출 및 업무 시스템 변경 | |
| 과도한 대행 (Excessive Agency) | 과도한 기능, 권한, 자율성 부여 | 통제 범위를 벗어난 에이전트의 자율 행동 | |
CTO 및 보안 담당자를 위한 실무 지침
AI 에이전트를 안전하게 도입하려면 앞서 언급한 세 가지 위험을 제어하는 설계 전략이 필요합니다.
- 최소 권한 원칙 적용: OWASP LLM06이 경고하는 ‘과도한 권한’을 막으려면, 에이전트가 호출하는 도구에 꼭 필요한 최소한의 권한만 할당합니다.
- 입력 데이터 검증 체계 구축: 외부 웹 페이지나 문서에서 들어오는 정보가 모델의 지시 사항을 바꾸지 못하게 간접 프롬프트 인젝션 방어 기제를 마련합니다.
- 실행 경로의 통제: 모델의 출력이 곧바로 실행으로 이어지는 경로를 차단합니다. 특히 수정이나 전송 같은 민감한 작업에는 반드시 인간의 승인 단계를 거쳐 자율성을 제한합니다.