코스 개요
모듈 1 — 보안 엔지니어를 위한 AI 시스템
랩: 랩 01 — 01-소개
아키텍처 이해하기.
주제:
- LLM vs 일반 앱
- AI 추론 파이프라인
- 프롬프트 흐름
- RAG 아키텍처
- 임베딩/벡터 데이터베이스
- 에이전트 워크플로우
- 도구 호출
- AI 게이트웨이
- 코파일럿
- MCP 및 에이전트 프로토콜
- WAF 가시성이 존재하는 곳
- WAF 가시성이 사라지는 곳
핵심 인사이트: 전통적인 WAF는 종종 프롬프트가 모델에 도달한 후 가시성을 잃습니다.
모듈 2 — OWASP GenAI Top 10
랩: 없음 — 대화형 요약/토의
핵심 AI 공격 카테고리.
주제:
- 프롬프트 인젝션
- 부적절한 출력 처리
- 학습 데이터 독성
- 모델 DoS
- 공급망 취약점
- 민감 정보 유출
- 과도한 에이전시(자율성)
- 벡터/임베딩 약점
- 허위 정보
- 무제한 소비
포함 내용:
- 전통적인 OWASP와의 차이점
- 방어 제어 장치 매핑(WAF, 게이트웨이, 앱 레이어)
- 각 제어 장치가 도움이 되는 곳
- 각 제어 장치가 실패하는 곳
모듈 3 — 프롬프트 인젝션 탐지
랩: 랩 02 — 02-프롬프트-인젝션
AI의 "SQL 인젝션 순간".
주제:
- 직접 프롬프트 인젝션
- 간접 프롬프트 인젝션
- 숨겨진 지시문
- 문서 기반 공격
- HTML/Markdown 인젝션
- 재일브레이크 패턴
- 컨텍스트 오버라이드 공격
- 역할 혼란 공격
탐지 전략:
- 키워드 휴리스틱
- 의미론적 분류
- 프롬프트 린팅
- 지시문 경계 enforcement
- 허용/차단 정책
- AI 인식 Regex 패턴
핸즈온 랩:
- 챗봇 공격하기
- 순수한 필터 우회하기
- 다층 탐지 구축하기
모듈 4 — AI 인식 WAF 규칙
랩: 랩 03 — 03-WAF-기본
AI 시스템을 위한 WAF 규칙의 진화.
- 주제:
- LLM 엔드포인트 보호
- 추론 API 보호
- 토큰 인식 속도 제한
- 프롬프트 크기 검사
- AI 고유 시그니처
- 대화 이상 탐지
- 멀티 턴 남용 패턴
- 모델 열거 시도
- 추론 스크래핑
- 방화벽 공격 방어
예시:
- /v1/chat/completions 보호하기
- 스트리밍 API 방어하기
- 재귀적 에이전트 호출 차단하기
모듈 5 — RAG 파이프라인 보안
랩: 랩 04 — 04-RAG-보안
가장 큰 신규 공격 표면 중 하나.
주제:
- 벡터 DB 위협
- 임베딩 독성
- 악의적인 PDF/문서
- 검색 조작
- 의미론적 독성
- 문서 내 숨겨진 지시문
- 문서 간 오염
- 검색을 통한 데이터 유출
방어 조치:
- 섭취 정제(Ingstion Sanitization)
- 신뢰 점수 매기기
- 메타데이터 격리
- 문서 근원 추적
- 검색 정책
- 분할(Segmentation)
사례 연구: "독성 PDF를 업로드하여 AI 어시스턴트를 장악하기."
모듈 6 — 에이전트 AI 보안
랩: 랩 05 — 05-에이전트-보안
위험해지기 시작하는 곳.
주제:
- 과도한 에이전시
- 도구 남용
- API 체이닝
- 자율 루프
- 권한 승격
- 메모리 독성
- 간접 도구 실행
- 에이전트 사칭
- 자격 증명 유출
- 멀티 에이전트 공격
방어 조치:
- 에이전트를 위한 최소 권한原则
- 승인 게이트
- 런타임 정책 엔진
- 샌드박스
- 스코프된 자격 증명
- 도구 화이트리스트
- 휴먼 인 더 루프
이 섹션은 관리자들이 위험이 운영적이고 비즈니스에 영향을 미치기 때문에 가장 관심을 가지는 부분입니다.
모듈 7 — AI를 위한 API 보안
랩: 랩 06 — 06-방화벽-공격
AI 시스템은 API가 많습니다.
주제:
- API 게이트웨이
- GraphQL AI 위험
- MCP/API 남용
- JWT 보호
- AI 플러그인 보안
- 에이전트 인증
- 위임된 권한 부여
- 비밀 정보 관리
- 서명된 프롬프트
- AI를 위한 API 인벤토리
연결점: OWASP API Security Top 10
모듈 8 — 탐지 엔지니어링 & SOC 통합
랩: 랩 07 — 07-탐지
운영적 방어.
주제:
- AI 텔레메트리
- 프롬프트 로깅
- 토큰 분석
- 이상 탐지
- 의미론적 SIEM 파이프라인
- AI 공격 지표
- LLM 남용에 대한 위협 사냥
- AI 런타임 가시성
예시:
- 재일브레이크 캠페인 탐지하기
- 자동화된 에이전트 남용 발견하기
- 모델 스크래핑 식별하기
모듈 9 — 클라우드 WAF와 AI 보안
랩: 없음 — 대화형 요약/토의
벤더 특화 구현.
주제:
- AI API를 위한 AWS WAF
- Azure WAF
- Cloudflare AI 게이트웨이
- API 게이트웨이
- Envoy AI 필터링
- Kong AI 게이트웨이
- NGINX AI 보안 패턴
비교:
- 전통적인 WAF vs AI 게이트웨이 vs 앱 레이어 가드레일
- 프록시 기반 vs 의미론적 필터링
모듈 10 — 다층 AI 방어 구축
랩: 랩 08 — 08-다층-방어
중요한 철학적 결론:
단일 레이어로는 AI를 보안할 수 없습니다(WAF도 예외는 아닙니다, 단독으로는 더욱 그렇습니다).
학생들은 다층 모델을 구축합니다:
- WAF
- API 게이트웨이
- AI 게이트웨이
- 가드레일
- 런타임 모니터링
- 식별/권한 부여
- 샌드박스
- 휴먼 승인
- 가시성
- 사고 대응
이는 '다층 보안' 모델과 강력하게 일치합니다.
모듈 → 랩 지도
랩은 모듈 순서를 따르는 순서대로 실행됩니다.
이 과정에는 10개의 모듈과 8개의 랩이 있습니다: 모듈 2와 9는 대화형 요약/토의이며 랩이 없습니다.
각 랩은 이 개요 전체에 걸쳐 해당 모듈로 태그되어 있습니다.
- 랩 01 (모듈 1)
- 폴더: 01-Introduction
- 제목: AI 시스템 탐색 — 라인 상에 있는 것들
- 랩 02 (모듈 3)
- 폴더: 02-Prompt-Injection
- 제목: 챗봇 공격 & 순수한 필터링 우회하기
- 랩 03 (모듈 4)
- 폴더: 03-WAF-Basics
- 제목: AI 인식 WAF 규칙 구축하기
- 랩 04 (모듈 5)
- 폴더: 04-RAG-Security
- 제목: RAG 파이프라인 독성 시키기
- 랩 05 (모듈 6)
- 폴더: 05-Agent-Security
- 제목: 자율 에이전트 보안 강화하기
- 랩 06 (모듈 7)
- 폴더: 06-Denial-of-Wallet
- 제목: 방화벽 공격 탐지하기
- 랩 07 (모듈 8)
- 폴더: 07-Detection
- 제목: 로그에서 AI 남용 패턴 모니터링하기
- 랩 08 (모듈 10)
- 폴더: 08-Layered-Defense
- 제목: 다층 AI 방어 아키텍처 구축하기
캡스톤 프로젝트
학생들은 시뮬레이션된 기업용 AI 어시스턴트를 방어합니다.
공격자가 시도하는 사항:
- 프롬프트 인젝션
- 도구 남용
- 자격 증명 탈취
- 검색 독성
- 과도한 API 소비
- 에이전트 승격
팀들이 구축하는 사항:
- WAF 규칙
- AI 게이트웨이 정책
- 런타임 탐지
- 가드레일
- 사고 대응
요건
- 학생들은 이미 HTTP/API 보안, 프록시/역방향 프록시, 인증, OWASP Top 10, REST API 및 기본 클라우드 네트워킹에 대한 이해가 있어야 합니다.
대상자
- 보안 엔지니어 & 앱섹(AppSec)
- SOC 분석가 & 탐지 엔지니어
- API 보안 엔지니어
- 클라우드 / API / 플랫폼 보안
- DevSecOps 엔지니어
- 보안 아키텍트
- WAF / 네트워크 보안 전문가
- AI 플랫폼 엔지니어
회원 평가 (2)
AI 공격과 보안 테스트를 시작하고 적극적으로 활용하기 위한 도구를 배우는过程을 매우 Enjoy 했습니다. 처음에는 없던 많은 지식을 얻었고, 과정이 제가 바란 대로 충족했습니다. 교육 중 가장 인상 깊었던 부분은 Comet Browser였으며, 그것이 할 수 있는 것에 놀랐습니다. 더 깊이 살펴보게 될 것입니다. 전반적으로 매우 좋은 과정이었고, 모든 OWASP GenAI 상위 10을 배우는 것을 Enjoy 했습니다.
Patrick Collins - Optum
코스 - OWASP GenAI Security
기계 번역됨
그의 전문적인 지식과 그것을 우리 앞에서 발표한 방식
Miroslav Nachev - PUBLIC COURSE
코스 - Cybersecurity in AI Systems
기계 번역됨