코스 개요
모듈 1 — 보안 엔지니어를 위한 AI 시스템 이해하기
실습: Lab 01 — 01-Introduction
AI 아키텍처에 대한 기초 학습.
다루는 주제:
- LLM과 일반 애플리케이션의 차이점
- AI 추론 파이프라인 구성
- 프롬프트 흐름 설명
- RAG 아키텍처 개요
- 임베딩 및 벡터 데이터베이스 이해
- 에이전트형 워크플로우 소개
- 도구 호출 메커니즘
- AI 게이트웨이의 역할
- 코파일럿 작동 원리
- MCP 및 에이전트 통신 프로토콜 설명
- WAF 가시성이 적용되는 영역
- 반대로 WAF 가시성이 사라지는 상황
핵심 인사이트: 기존의 WAF는 프롬프트가 모델에 도달한 이후부터 시야가 제한되는 경우가 많습니다.
모듈 2 — OWASP GenAI Top 10
실습: 없음 — 참여형 복습 및 토론
AI 관련 주요 위협 분류를 살펴봅니다.
다루는 주제:
- 프롬프트 인젝션
- 불안전한 출력 처리 문제
- 학습 데이터 오염 가능성
- 모델 서비스 거부 공격
- 공급망 취약점 노출
- 민감 정보 유출 리스크
- 과도한 자율성 허용 문제
- 벡터/임베딩 관련 보안 결함
- 허위 정보 생성 위험
- 무제한 리소스 소비 가능성
포함 내용:
- 기존 OWASP Top 10과의 차이점 정리
- 보안 제어 수단(WAF, 게이트웨이, 애플리케이션 계층)과의 연관성 설명
- 각 보안 도구가 적용 가능한 영역
- 반대로 각 도구에서 보호가 어려운 부분
모듈 3 — 프롬프트 인젝션 탐지 방법론
실습: Lab 02 — 02-Prompt-Injection
AI 보안의 ‘SQL 인젝션’과도 같은 핵심 이슈.
다루는 주제:
- 직접적 프롬프트 인젝션
- 간접 프롬프트 인젝션
- 숨겨진 지시문 탐지
- 문서 기반 공격 기법
- HTML/Markdown 기반 코드 주입
- 제일브레이크 패턴 파악
- 컨텍스트 재정의를 통한 위협
- 역할 혼동을 유발하는 공격 수법
탐지 전략 소개:
- 키워드 기반 휴리스틱 적용
- 의미적 분류 접근법
- 프롬프트 정적 분석 기술
- 지시문 경계 제한 규칙 설정
- 허용/거부 정책 수립
- AI 친화적인 정규식 패턴 개발
실습 내용:
- 챗봇에 공격을 가해보기
- 단순 필터 체계를 우회해보기
- 다층적 탐지 기제 설계 연습
모듈 4 — AI 친화적 WAF 규칙 작성법
실습: Lab 03 — 03-WAF-Basics
AI 환경에 맞춘 WAF 규칙 설계 과정.
- 다루는 주제들:
- LLM 엔드포인트 보호 기법
- 추론 API 안전성 확보 방안
- 토큰 단위를 반영한 요청 빈도 제한 설계
- 프롬프트 크기 검사 규칙 마련
- AI 특화 시그니처 식별 및 활용
- 대화 내용의 비정상적 변화 탐지 수단
- 다중 대화 과정에서의 악용 패턴 분석
- 모델 종류 유추를 위한 시도 감시
- 추론 결과 무단 추출 방지 체계
- 금전적 손실 유발 공격 차단 수단
사례 소개:
- /v1/chat/completions 엔드포인트 보호 방안
- 스트림 기반 API 보안 적용 사례
- 자동화된 에이전트 호출 반복을 차단하는 규칙 구성
모듈 5 — RAG 파이프라인 안전 운영법
실습: Lab 04 — 04-RAG-Security
RAG 아키텍처는 새롭게 등장한 공격의 중심지입니다.
다루는 주제:
- 벡터 데이터베이스 관련 위협
- 임베딩 내용 오염 문제
- 악성 PDF 및 문서를 통한 공격 시도
- 정보 검색 과정 조작 가능성
- 의미적 정보 왜곡 현상
- 문서 내에 숨겨진 지시문 분석
- 여러 문서 간의 오염 확산 위험
- 검색 과정을 통한 데이터 유출 방지 수단
방어 전략 소개:
- 정보 수집 시 정화 작업
- 데이터 신뢰도 점수 산출
- 메타데이터 분리 보관 방법
- 문서 출처 기록 관리 방안
- 검색 시 적용할 정책 수립
- 정보 분할 처리 기술
사례 연구: ‘오염된 PDF 파일을 업로드해 AI 어시스턴트를 통제하기’.
모듈 6 — 에이전트형 AI 보안 가이드
실습: Lab 05 — 05-Agent-Security
위험성이 크게 증가하는 영역입니다.
다루는 주제:
- 과도한 자율성 허용 문제
- 도구 악용 가능성
- 여러 API 간의 연쇄 호출 위험
- 자동 반복 실행 루프 관리 필요성
- 권한 범위 초과 문제
- 메모리 내용 조작 시도 방지
- 간접적인 도구 호출 감시
- 에이전트 신분 위조 탐지
- 인증 정보 유출 사고 예방
- 다수 에이전트 간 협력 공격 방어
보안 수단 소개:
- 에이전트에게 최소한의 권한만 부여하기
- 행동 전 사전 승인 절차 마련
- 런타임 정책 엔진 운영 방안
- 환경 격리 처리 기술
- 범위별 인증 정보 분리 관리
- 사용 가능한 도구 목록 제한 기법
- 인간 검토 단계 필수화
이 영역은 운영상 손실 발생 우려가 크기 때문에 관리자들의 관심도 높습니다.
모듈 7 — AI를 위한 API 보안 전략
실습: Lab 06 — 06-Denial-of-Wallet
AI 시스템에서는 수많은 API가 사용됩니다.
다루는 주제:
- API 게이트웨이 운용
- GraphQL 환경 내 AI 보안 우려사항
- MCP 및 API 악용 시도 대응
- JWT 보호 체계 강화
- AI 플러그인 보안 관리
- 에이전트 인증 처리 방법
- 위임된 권한 부여 기법
- 비밀키 안전 저장 수단
- 디지털 서명을 활용한 프롬프트 보호
- AI에 특화된 API 목록 정리
관련 내용: OWASP API 보안 Top 10.
모듈 8 — 위협 탐지 기술 및 SOC 연계 방안
실습: Lab 07 — 07-Detection
실제 운영 환경 보안 유지법.
다루는 주제:
- AI 관련 데이터 모니터링
- 프롬프트 기록 수집 방식
- 토큰 사용량 분석 수단
- 비정상적 현상 자동 감지
- 의미 중심 SIEM 파이프라인 구성
- AI 공격 징후 판별법
- LLM 오용 행위에 대한 사냥 기법
- 실시간 AI 환경 관찰 수단
예시:
- 제일브레이크 시도 포착
- 자동화된 에이전트 악용 행위 식별
- 모델 내용 무단 추출 감지
모듈 9 — 클라우드 기반 WAF 및 AI 보안 통합법
실습: 없음 — 참여형 복습 및 토론
각 공급업체별 구현 방식 알아보기.
다루는 주제:
- AWS WAF를 활용한 AI API 보호
- Azure WAF 활용 사례
- Cloudflare AI 게이트웨이 구성법
- 다양한 API 게이트웨이 운영 방식
- Envoy를 활용한 AI 필터링 기법
- Kong AI 게이트웨이 적용 가능성
- NGINX에서 구현하는 AI 보안 수단
비교 분석 내용:
- 전통적 WAF, AI 게이트웨이, 애플리케이션 계층 가드레일 각각의 역할 비교
- 프록시 기반 방식과 의미 분석 기법 간의 차이점 정리
모듈 10 — 다층적 AI 보안 체계 구축법
실습: Lab 08 — 08-Layered-Defense
철학적 결론 도출 단계입니다.
중요한 점은 AI 환경을 보호하는 데에는 어느 한 계층만으로는 불가능하다는 것입니다(특히 WAF 혼자서는 매우 부족합니다).
학습자들은 다음과 같은 다층 구조 모델을 설계하게 됩니다:
- WAF
- API 게이트웨이
- AI 게이트웨이
- 가드레일 체계
- 런타임 모니터링 수단
- 인증 및 권한 관리 기제
- 환경 격리 처리
- 인간 검토 과정 필수화
- 상태 관측 능력 확보
- 사고 대응 프로세스 구축
이 내용은 ‘다층 보안 모델’과 깊게 부합합니다.
모듈와 실습 대응표
실습 순서는 각 모듈의 진행 순서와 일치합니다.
총 10개의 모듈이 있지만 실습은 8개만 존재합니다: 2번과 9번 모듈에서는 참여형 복습 및 토론만 진행되며 별도 실습 과정은 없습니다.
본 개요서에서는 모든 실습 내용에 해당하는 모듈 번호를 명시하고 있습니다.
- Lab 01 (모듈 1)
- 폴더명: 01-Introduction
- 제목: AI 시스템 구조 탐색 — 네트워크 상에 어떤 데이터가 전송되는지 파악하기
- Lab 02 (모듈 3)
- 폴더명: 02-Prompt-Injection
- 제목: 챗봇을 공격해보고 단순 필터 체계를 우회하기
- Lab 03 (모듈 4)
- 폴더명: 03-WAF-Basics
- 제목: AI 친화적인 WAF 규칙 설계 연습
- Lab 04 (모듈 5)
- 폴더명: 04-RAG-Security
- 제목: RAG 파이프라인에 오염 요소 주입해보기
- Lab 05 (모듈 6)
- 폴더명: 05-Agent-Security
- 제목: 자율 에이전트 안전 운영 방안 실습
- Lab 06 (모듈 7)
- 폴더명: 06-Denial-of-Wallet
- 제목: 금전적 손실 유발 공격 식별 기술 연습
- Lab 07 (모듈 8)
- 폴더명: 07-Detection
- 제목: 로그 데이터를 분석해 AI 악용 행위 감시하기
- Lab 08 (모듈 10)
- 폴더명: 08-Layered-Defense
- 제목: 다층 AI 방어 체계 구조 설계 연습
최종 과제
학습자들은 시뮬레이션된 기업용 AI 어시스턴트 보호 임무를 수행합니다.
공격 측면에서는 다음과 같은 전략을 사용하게 됩니다:
- 프롬프트 인젝션 시도
- 도구 악용 기법
- 인증 정보 탈취 공격
- RAG 내용 오염 행위
- 과다한 API 사용 유발 전략
- 에이전트 권한 확장 시도
팀별로 수행해야 할 과제:
- WAF 규칙 설계
- AI 게이트웨이 보안 정책 마련
- 런타임 위협 탐지 체계 구성
- 가드레일 규정 확립
- 사고 대응 프로세스 구현
요건
- 학습자들은 HTTP 및 API 보안, 프록시와 리버스 프록시 개념, 인증 체계, OWASP Top 10, REST API 기초 지식, 클라우드 네트워크 기본사항을 이미 숙지하고 있어야 합니다.
대상 수강생
- 보안 엔지니어 및 애플리케이션 보안 전문가
- SOC 분석가 및 위협 탐지 담당자
- API 보안 엔지니어
- 클라우드/API/플랫폼 보안 담당자
- DevSecOps 엔지니어
- 보안 아키텍트
- WAF 및 네트워크 보안 전문가
- AI 플랫폼 엔지니어
회원 평가 (2)
AI 공격과 보안 테스트를 시작하고 적극적으로 활용하기 위한 도구를 배우는过程을 매우 Enjoy 했습니다. 처음에는 없던 많은 지식을 얻었고, 과정이 제가 바란 대로 충족했습니다. 교육 중 가장 인상 깊었던 부분은 Comet Browser였으며, 그것이 할 수 있는 것에 놀랐습니다. 더 깊이 살펴보게 될 것입니다. 전반적으로 매우 좋은 과정이었고, 모든 OWASP GenAI 상위 10을 배우는 것을 Enjoy 했습니다.
Patrick Collins - Optum
코스 - OWASP GenAI Security
기계 번역됨
그의 전문적인 지식과 그것을 우리 앞에서 발표한 방식
Miroslav Nachev - PUBLIC COURSE
코스 - Cybersecurity in AI Systems
기계 번역됨