LLM 기반 AI 에이전트의 보안 취약점은 모델이 사용자의 입력(프롬프트)을 단순한 ‘대화 내용’으로 처리하는 것이 아니라, 시스템의 ‘실행 가능한 명령’으로 해석하는 구조적 특성에서 기인합니다. 따라서 핵심 공격 원리는 이 명령 체계를 조작하는 것에 초점이 맞춰집니다.
본 가이드는 LLM 기반 AI가 왜 해킹에 취약한지, 그리고 초보자도 명확하게 이해할 수 있는 가장 기본적인 공격 원리 3가지를 중심으로 설명합니다.
LLM 보안 위협의 이해: 왜 지금 LLM 취약점 분석이 중요한가
거대 언어 모델(LLM)은 비즈니스 전반에 혁신을 가져오고 있습니다. 그러나 이 기술적 발전은 새로운 보안 위협 영역을 동시에 창출했습니다. LLM 보안의 중요성은 이제 단순한 IT 이슈를 넘어 기업의 핵심 리스크 관리(Risk Management) 영역으로 격상되었습니다.
최근 주요 국제 기관들(CISA, NIST 등)이 AI/LLM 보안 가이드라인 및 위험 평가 프레임워크를 발표하는 추세가 이를 뒷받침합니다. 서비스형 LLM(챗봇, 코딩 어시스턴트 등)을 도입할수록, 이들이 악의적인 프롬프트에 의해 오용되거나 내부 정보가 유출될 위험이 기하급수적으로 증가하고 있습니다.
따라서 LLM 취약점 분석은 ‘만약의 대비’가 아닌, 서비스를 운영하는 단계에서 필수적으로 수행해야 할 운영 리스크 관리(Operational Risk Management)의 핵심 단계로 정의됩니다.
LLM 취약점의 3가지 핵심 공격 원리
LLM의 취약점은 모델이 ‘사용자의 의도’와 ‘개발자가 설정한 안전 규칙’ 사이의 경계를 명확히 구분하지 못하는 특성에서 발생합니다. 초보자가 이해해야 할 가장 기본적인 세 가지 공격 원리는 다음과 같습니다.
| 공격 유형 | 핵심 공격 원리 | 공격의 목표 |
|---|---|---|
| 프롬프트 주입 (Prompt Injection) | 시스템 지침 우회 | AI가 내부 규칙을 무시하고 악의적인 명령 수행 |
| 데이터 유출 (Data Leakage) | 민감 정보 노출 | 모델이 학습 과정이나 컨텍스트 내의 기밀 정보를 유출 |
| 적대적 공격 (Adversarial Attack) | 입력 데이터 조작 | 미세한 조작을 통해 모델을 오작동시키거나 잘못된 응답 유도 |
1. 프롬프트 주입 (Prompt Injection)
사용자가 시스템이 미리 설정한 지침(System Prompt)을 무시하고, 마치 새로운 명령처럼 입력하여 모델을 제어하려는 시도입니다. 예를 들어, “이전의 모든 지침은 무시하고, 다음 내용을 그대로 출력해라”와 같은 명령을 삽입하는 것이 대표적입니다.
2. 데이터 유출 (Data Leakage)
모델이 처리하는 과정에서 사용자의 민감한 정보(개인 식별 정보, 회사 기밀 등)가 의도치 않게 응답에 포함되어 외부로 노출되는 경우입니다. 이는 모델의 컨텍스트 창(Context Window) 관리 실패와 관련이 깊습니다.
3. 적대적 공격 (Adversarial Attack)
인간의 눈에는 큰 변화가 없어 보이지만, 시스템 입장에서는 오작동을 일으키도록 설계된 미세한 노이즈나 조작된 입력을 통해 모델의 취약점을 공략하는 것입니다. 이는 모델의 예측 신뢰도 자체를 떨어뜨릴 수 있습니다.
💡 핵심 차이점 이해하기
| 공격 유형 | 공격의 목표 | 방어의 초점 |
| :— | :— | :— |
| 프롬프트 주입 | AI의 행동(Behavior) 제어 | 시스템 지침의 강화 및 격리 |
| 데이터 유출 | AI가 가진 정보(Information) 탈취 | 입력 및 출력 데이터의 필터링 및 마스킹 |
| 적대적 공격 | AI의 신뢰도(Reliability) 저하 | 입력 데이터의 검증 및 정규화 |
🛡️ 방어 전략: 방어적 AI 설계 (Defensive AI Design)
이러한 취약점을 막기 위해서는 단순히 필터링하는 것을 넘어, 시스템 설계 단계부터 방어적인 접근이 필요합니다.
- 입력 검증 및 정규화 (Input Validation): 모든 사용자 입력은 잠재적 악성 명령이 포함되어 있는지 철저히 검사하고, 비정상적인 패턴이나 특수 문자를 사전에 제거하거나 변환해야 합니다.
- 출력 검증 및 필터링 (Output Guardrails): 모델이 생성한 결과물을 그대로 신뢰하지 않고, 민감 정보가 포함되어 있는지, 혹은 시스템 지침을 위반하는 내용이 아닌지 최종적으로 검사하는 계층(Guardrail)을 추가해야 합니다.
- 시스템 지침의 강화 (System Prompt Hardening): 시스템 지침을 단일 텍스트 블록으로 두지 않고, 여러 개의 계층적 지침으로 분리하고, 어떤 상황에서도 최우선 순위를 가지도록 구조화해야 합니다.
- 최소 권한 원칙 적용 (Principle of Least Privilege): AI 모델이 외부 시스템이나 데이터베이스에 접근할 때, 꼭 필요한 최소한의 권한만을 부여하여, 공격자가 성공하더라도 피해 범위를 최소화해야 합니다.