코스 개요
모듈 1 — 보안 엔지니어를 위한 AI 시스템 이해하기
실습: Lab 01 — 01-Introduction
AI 아키텍처에 대한 기초 학습.
다루는 주제:
- LLM과 일반 애플리케이션의 차이점
- AI 추론 파이프라인 구성
- 프롬프트 흐름 설명
- RAG 아키텍처 개요
- 임베딩 및 벡터 데이터베이스 이해
- 에이전트형 워크플로우 소개
- 도구 호출 메커니즘
- AI 게이트웨이의 역할
- 코파일럿 작동 원리
- MCP 및 에이전트 통신 프로토콜 설명
- WAF 가시성이 적용되는 영역
- 반대로 WAF 가시성이 사라지는 상황
핵심 인사이트: 기존의 WAF는 프롬프트가 모델에 도달한 이후부터 시야가 제한되는 경우가 많습니다.
모듈 2 — OWASP GenAI Top 10
실습: 없음 — 참여형 복습 및 토론
AI 관련 주요 위협 분류를 살펴봅니다.
다루는 주제:
- 프롬프트 인젝션
- 불안전한 출력 처리 문제
- 학습 데이터 오염 가능성
- 모델 서비스 거부 공격
- 공급망 취약점 노출
- 민감 정보 유출 리스크
- 과도한 자율성 허용 문제
- 벡터/임베딩 관련 보안 결함
- 허위 정보 생성 위험
- 무제한 리소스 소비 가능성
포함 내용:
- 기존 OWASP Top 10과의 차이점 정리
- 보안 제어 수단(WAF, 게이트웨이, 애플리케이션 계층)과의 연관성 설명
- 각 보안 도구가 적용 가능한 영역
- 반대로 각 도구에서 보호가 어려운 부분
모듈 3 — 프롬프트 인젝션 탐지 방법론
실습: Lab 02 — 02-Prompt-Injection
AI 보안의 ‘SQL 인젝션’과도 같은 핵심 이슈.
다루는 주제:
- 직접적 프롬프트 인젝션
- 간접 프롬프트 인젝션
- 숨겨진 지시문 탐지
- 문서 기반 공격 기법
- HTML/Markdown 기반 코드 주입
- 제일브레이크 패턴 파악
- 컨텍스트 재정의를 통한 위협
- 역할 혼동을 유발하는 공격 수법
탐지 전략 소개:
- 키워드 기반 휴리스틱 적용
- 의미적 분류 접근법
- 프롬프트 정적 분석 기술
- 지시문 경계 제한 규칙 설정
- 허용/거부 정책 수립
- AI 친화적인 정규식 패턴 개발
실습 내용:
- 챗봇에 공격을 가해보기
- 단순 필터 체계를 우회해보기
- 다층적 탐지 기제 설계 연습
모듈 4 — AI 친화적 WAF 규칙 작성법
실습: Lab 03 — 03-WAF-Basics
AI 환경에 맞춘 WAF 규칙 설계 과정.
- 다루는 주제들:
- LLM 엔드포인트 보호 기법
- 추론 API 안전성 확보 방안
- 토큰 단위를 반영한 요청 빈도 제한 설계
- 프롬프트 크기 검사 규칙 마련
- AI 특화 시그니처 식별 및 활용
- 대화 내용의 비정상적 변화 탐지 수단
- 다중 대화 과정에서의 악용 패턴 분석
- 모델 종류 유추를 위한 시도 감시
- 추론 결과 무단 추출 방지 체계
- 금전적 손실 유발 공격 차단 수단
사례 소개:
- /v1/chat/completions 엔드포인트 보호 방안
- 스트림 기반 API 보안 적용 사례
- 자동화된 에이전트 호출 반복을 차단하는 규칙 구성
모듈 5 — RAG 파이프라인 안전 운영법
실습: Lab 04 — 04-RAG-Security
RAG 아키텍처는 새롭게 등장한 공격의 중심지입니다.
다루는 주제:
- 벡터 데이터베이스 관련 위협
- 임베딩 내용 오염 문제
- 악성 PDF 및 문서를 통한 공격 시도
- 정보 검색 과정 조작 가능성
- 의미적 정보 왜곡 현상
- 문서 내에 숨겨진 지시문 분석
- 여러 문서 간의 오염 확산 위험
- 검색 과정을 통한 데이터 유출 방지 수단
방어 전략 소개:
- 정보 수집 시 정화 작업
- 데이터 신뢰도 점수 산출
- 메타데이터 분리 보관 방법
- 문서 출처 기록 관리 방안
- 검색 시 적용할 정책 수립
- 정보 분할 처리 기술
사례 연구: ‘오염된 PDF 파일을 업로드해 AI 어시스턴트를 통제하기’.
모듈 6 — 에이전트형 AI 보안 가이드
실습: Lab 05 — 05-Agent-Security
위험성이 크게 증가하는 영역입니다.
다루는 주제:
- 과도한 자율성 허용 문제
- 도구 악용 가능성
- 여러 API 간의 연쇄 호출 위험
- 자동 반복 실행 루프 관리 필요성
- 권한 범위 초과 문제
- 메모리 내용 조작 시도 방지
- 간접적인 도구 호출 감시
- 에이전트 신분 위조 탐지
- 인증 정보 유출 사고 예방
- 다수 에이전트 간 협력 공격 방어
보안 수단 소개:
- 에이전트에게 최소한의 권한만 부여하기
- 행동 전 사전 승인 절차 마련
- 런타임 정책 엔진 운영 방안
- 환경 격리 처리 기술
- 범위별 인증 정보 분리 관리
- 사용 가능한 도구 목록 제한 기법
- 인간 검토 단계 필수화
이 영역은 운영상 손실 발생 우려가 크기 때문에 관리자들의 관심도 높습니다.
모듈 7 — AI를 위한 API 보안 전략
실습: Lab 06 — 06-Denial-of-Wallet
AI 시스템에서는 수많은 API가 사용됩니다.
다루는 주제:
- API 게이트웨이 운용
- GraphQL 환경 내 AI 보안 우려사항
- MCP 및 API 악용 시도 대응
- JWT 보호 체계 강화
- AI 플러그인 보안 관리
- 에이전트 인증 처리 방법
- 위임된 권한 부여 기법
- 비밀키 안전 저장 수단
- 디지털 서명을 활용한 프롬프트 보호
- AI에 특화된 API 목록 정리
관련 내용: OWASP API 보안 Top 10.
모듈 8 — 위협 탐지 기술 및 SOC 연계 방안
실습: Lab 07 — 07-Detection
실제 운영 환경 보안 유지법.
다루는 주제:
- AI 관련 데이터 모니터링
- 프롬프트 기록 수집 방식
- 토큰 사용량 분석 수단
- 비정상적 현상 자동 감지
- 의미 중심 SIEM 파이프라인 구성
- AI 공격 징후 판별법
- LLM 오용 행위에 대한 사냥 기법
- 실시간 AI 환경 관찰 수단
예시:
- 제일브레이크 시도 포착
- 자동화된 에이전트 악용 행위 식별
- 모델 내용 무단 추출 감지
모듈 9 — 클라우드 기반 WAF 및 AI 보안 통합법
실습: 없음 — 참여형 복습 및 토론
각 공급업체별 구현 방식 알아보기.
다루는 주제:
- AWS WAF를 활용한 AI API 보호
- Azure WAF 활용 사례
- Cloudflare AI 게이트웨이 구성법
- 다양한 API 게이트웨이 운영 방식
- Envoy를 활용한 AI 필터링 기법
- Kong AI 게이트웨이 적용 가능성
- NGINX에서 구현하는 AI 보안 수단
비교 분석 내용:
- 전통적 WAF, AI 게이트웨이, 애플리케이션 계층 가드레일 각각의 역할 비교
- 프록시 기반 방식과 의미 분석 기법 간의 차이점 정리
모듈 10 — 다층적 AI 보안 체계 구축법
실습: Lab 08 — 08-Layered-Defense
철학적 결론 도출 단계입니다.
중요한 점은 AI 환경을 보호하는 데에는 어느 한 계층만으로는 불가능하다는 것입니다(특히 WAF 혼자서는 매우 부족합니다).
학습자들은 다음과 같은 다층 구조 모델을 설계하게 됩니다:
- WAF
- API 게이트웨이
- AI 게이트웨이
- 가드레일 체계
- 런타임 모니터링 수단
- 인증 및 권한 관리 기제
- 환경 격리 처리
- 인간 검토 과정 필수화
- 상태 관측 능력 확보
- 사고 대응 프로세스 구축
이 내용은 ‘다층 보안 모델’과 깊게 부합합니다.
모듈와 실습 대응표
실습 순서는 각 모듈의 진행 순서와 일치합니다.
총 10개의 모듈이 있지만 실습은 8개만 존재합니다: 2번과 9번 모듈에서는 참여형 복습 및 토론만 진행되며 별도 실습 과정은 없습니다.
본 개요서에서는 모든 실습 내용에 해당하는 모듈 번호를 명시하고 있습니다.
- Lab 01 (모듈 1)
- 폴더명: 01-Introduction
- 제목: AI 시스템 구조 탐색 — 네트워크 상에 어떤 데이터가 전송되는지 파악하기
- Lab 02 (모듈 3)
- 폴더명: 02-Prompt-Injection
- 제목: 챗봇을 공격해보고 단순 필터 체계를 우회하기
- Lab 03 (모듈 4)
- 폴더명: 03-WAF-Basics
- 제목: AI 친화적인 WAF 규칙 설계 연습
- Lab 04 (모듈 5)
- 폴더명: 04-RAG-Security
- 제목: RAG 파이프라인에 오염 요소 주입해보기
- Lab 05 (모듈 6)
- 폴더명: 05-Agent-Security
- 제목: 자율 에이전트 안전 운영 방안 실습
- Lab 06 (모듈 7)
- 폴더명: 06-Denial-of-Wallet
- 제목: 금전적 손실 유발 공격 식별 기술 연습
- Lab 07 (모듈 8)
- 폴더명: 07-Detection
- 제목: 로그 데이터를 분석해 AI 악용 행위 감시하기
- Lab 08 (모듈 10)
- 폴더명: 08-Layered-Defense
- 제목: 다층 AI 방어 체계 구조 설계 연습
최종 과제
학습자들은 시뮬레이션된 기업용 AI 어시스턴트 보호 임무를 수행합니다.
공격 측면에서는 다음과 같은 전략을 사용하게 됩니다:
- 프롬프트 인젝션 시도
- 도구 악용 기법
- 인증 정보 탈취 공격
- RAG 내용 오염 행위
- 과다한 API 사용 유발 전략
- 에이전트 권한 확장 시도
팀별로 수행해야 할 과제:
- WAF 규칙 설계
- AI 게이트웨이 보안 정책 마련
- 런타임 위협 탐지 체계 구성
- 가드레일 규정 확립
- 사고 대응 프로세스 구현
요건
- 학습자들은 HTTP 및 API 보안, 프록시와 리버스 프록시 개념, 인증 체계, OWASP Top 10, REST API 기초 지식, 클라우드 네트워크 기본사항을 이미 숙지하고 있어야 합니다.
대상 수강생
- 보안 엔지니어 및 애플리케이션 보안 전문가
- SOC 분석가 및 위협 탐지 담당자
- API 보안 엔지니어
- 클라우드/API/플랫폼 보안 담당자
- DevSecOps 엔지니어
- 보안 아키텍트
- WAF 및 네트워크 보안 전문가
- AI 플랫폼 엔지니어
회원 평가 (3)
AI 내의 다양한 리스크 노출 요인을 inventoried and identified하는 것
Gary Cook - Cybersecurity and Information Technology Risk Division
코스 - Introduction to AI Trust, Risk, and Security Management (AI TRiSM)
기계 번역됨
AI 공격과 보안 테스트를 시작하고 적극적으로 활용하기 위한 도구를 배우는过程을 매우 Enjoy 했습니다. 처음에는 없던 많은 지식을 얻었고, 과정이 제가 바란 대로 충족했습니다. 교육 중 가장 인상 깊었던 부분은 Comet Browser였으며, 그것이 할 수 있는 것에 놀랐습니다. 더 깊이 살펴보게 될 것입니다. 전반적으로 매우 좋은 과정이었고, 모든 OWASP GenAI 상위 10을 배우는 것을 Enjoy 했습니다.
Patrick Collins - Optum
코스 - OWASP GenAI Security
기계 번역됨
그의 전문적인 지식과 그것을 우리 앞에서 발표한 방식
Miroslav Nachev - PUBLIC COURSE
코스 - Cybersecurity in AI Systems
기계 번역됨