코스 개요
1일 차: 기초 및 핵심 위협
모듈 1: OWASP GenAI Security Project 소개 (1시간)
학습 목표:
- OWASP Top 10에서 GenAI 특화 보안 과제까지의 진화를 이해합니다
- OWASP GenAI Security Project 생태계와 자원을 탐색합니다
- 전통적인 애플리케이션 보안과 AI 보안 간의 주요 차이점을 식별합니다
다루는 주제:
- OWASP GenAI Security Project 미션과 범위 개요
- Threat Defense COMPASS 프레임워크 소개
- AI 보안 지형 및 규제 요구사항 이해
- AI 공격 표면과 전통적인 웹 애플리케이션 취약점 비교
실습 연습: OWASP Threat Defense COMPASS 도구 설정 및 초기 위협 평가 수행
모듈 2: LLM을 위한 OWASP Top 10 - 1부 (2.5시간)
학습 목표:
- 최초 5가지 핵심 LLM 취약점을 마스터합니다
- 공격 벡터와 악용 기술을 이해합니다
- 실용적인 완화 전략을 적용합니다
다루는 주제:
LLM01: 프롬프트 인젝션
- 직접적 및 간접적 프롬프트 인젝션 기법
- 숨겨진 지시 공격과 크로스 프롬프트 오염
- 실제 사례: 챗봇 자일브레이킹 및 안전 조치 우회
- 방어 전략: 입력 세정, 프롬프트 필터링, 차등 프라이버시
LLM02: 민감 정보 유출
- 학습 데이터 추출 및 시스템 프롬프트 누출
- 민감 정보 노출을 위한 모델 행동 분석
- 프라이버시 함의 및 규제 준수 고려사항
- 완화책: 출력 필터링, 접근 통제, 데이터 익명화
LLM03: 공급망 취약점
- 제3자 모델 의존성과 플러그인 보안
- 위협된 학습 데이터셋과 모델 독성 오염
- AI 컴포넌트에 대한 벤더 위험 평가
- 안전한 모델 배포 및 검증 관행
실습 연습: 취약한 LLM 애플리케이션에 대한 프롬프트 인젝션 공격 시연 및 방어 조치 구현
모듈 3: LLM을 위한 OWASP Top 10 - 2부 (2시간)
다루는 주제:
LLM04: 데이터 및 모델 독성 오염
- 학습 데이터 조작 기법
- 독성 오염 입력을 통한 모델 행동 수정
- 백도어 공격 및 데이터 무결성 검증
- 예방책: 데이터 검증 파이프라인, 출처 추적
LLM05: 부적절한 출력 처리
- LLM 생성 콘텐츠의 비안전한 처리
- AI 생성 출력을 통한 코드 인젝션
- AI 응답을 통한 크로스 사이트 스크립팅(XSS)
- 출력 검증 및 세정 프레임워크
실습 연습: 데이터 독성 오염 공격 시뮬레이션 및 강력한 출력 검증 메커니즘 구현
모듈 4: 고급 LLM 위협 (1.5시간)
다루는 주제:
LLM06: 과도한 에이전시(Excessive Agency)
- 자율적 의사결정 위험 및 경계 위반
- 에이전트 권한 및 권한 관리
- 의도하지 않은 시스템 상호작용 및 권한 상승
- 가드레일 및 인간 감독 통제 구현
LLM07: 시스템 프롬프트 누출
- 시스템 지시 노출 취약점
- 프롬프트를 통한 자격 증명 및 로직 유출
- 시스템 프롬프트 추출을 위한 공격 기법
- 시스템 지시 및 외부 구성의 보안 강화
실습 연습: 적절한 접근 통제 및 모니터링을 갖춘 안전한 에이전트 아키텍처 설계
2일 차: 고급 위협 및 구현
모듈 5: 부상하고 있는 AI 위협 (2시간)
학습 목표:
- 최첨단 AI 보안 위협을 이해합니다
- 고급 탐지 및 예방 기술을 구현합니다
- 정교한 공격에 저항할 수 있는 탄력적인 AI 시스템을 설계합니다
다루는 주제:
LLM08: 벡터 및 임베딩 약점
- RAG 시스템 취약점 및 벡터 데이터베이스 보안
- 임베딩 독성 오염 및 유사도 조작 공격
- 시맨틱 검색에서의 적대적 예시
- 벡터 스토어 보안 강화 및 이상 탐지 구현
LLM09: 허위 정보 및 모델 신뢰성
- 환각(Hallucination) 탐지 및 완화
- 편향 증폭 및 공정성 고려사항
- 팩트 체크 및 출처 검증 메커니즘
- 콘텐츠 검증 및 인간 감독 통합
LLM10: 무제한 자원 소비
- 자원 고갈 및 서비스 거부 공격
- 레이트 리미팅 및 자원 관리 전략
- 비용 최적화 및 예산 통제
- 성능 모니터링 및 알림 시스템
실습 연습: 벡터 데이터베이스 보호 및 환각 탐지를 포함하는 안전한 RAG 파이프라인 구축
모듈 6: 에이전틱 AI 보안 (2시간)
학습 목표:
- 자율적 AI 에이전트의 고유한 보안 도전을 이해합니다
- OWASP 에이전틱 AI 분류법을 실제 시스템에 적용합니다
- 다중 에이전트 환경의 보안 통제를 구현합니다
다루는 주제:
- 에이전틱 AI 및 자율 시스템 소개
- OWASP 에이전틱 AI 위협 분류법: 에이전트 설계, 메모리, 계획, 도구 사용, 배포
- 다중 에이전트 시스템 보안 및 조정 위험
- 도구 오용, 메모리 독성 오염, 목표 해킹 공격
- 에이전트 통신 및 의사결정 프로세스 보안 강화
실습 연습: OWASP 에이전틱 AI 분류법을 활용한 다중 에이전트 고객 서비스 시스템 위협 모델링 연습
모듈 7: OWASP Threat Defense COMPASS 구현 (2시간)
학습 목표:
- Threat Defense COMPASS의 실용적 응용을 마스터합니다
- 조직의 보안 프로그램에 AI 위협 평가를 통합합니다
- 종합적인 AI 위험 관리 전략을 수립합니다
다루는 주제:
- Threat Defense COMPASS 방법론 심층 분석
- OODA 루프 통합: 관찰(Observation), 방향 설정(Orientation), 의사결정(Decision), 행동(Action)
- MITRE ATT&CK 및 ATLAS 프레임워크로의 위협 매핑
- AI 위협 탄력성 전략 대시보드 구축
- 기존 보안 도구 및 프로세스와의 통합
실습 연습: Microsoft Copilot 배포 시나리오에 대해 COMPASS를 활용한 전체 위협 평가 수행
모듈 8: 실전 구현 및 모범 사례 (2.5시간)
학습 목표:
- 바닥부터 안전한 AI 아키텍처를 설계합니다
- AI 시스템을 위한 모니터링 및 사건 대응을 구현합니다
- AI 보안을 위한 거버넌스 프레임워크를 수립합니다
다루는 주제:
안전한 AI 개발 라이프사이클:
- AI 애플리케이션을 위한 보안-by-design 원칙
- LLM 통합을 위한 코드 리뷰 관행
- 테스트 방법론 및 취약점 스캐닝
- 배포 보안 및 프로덕션 하드닝
모니터링 및 탐지:
- AI 특화 로깅 및 모니터링 요구사항
- AI 시스템의 이상 탐지
- AI 보안 이벤트에 대한 사건 대응 절차
- 포렌식 및 조사 기법
거버넌스 및 컴플라이언스:
- AI 위험 관리 프레임워크 및 정책
- 규제 준수 고려사항 (GDPR, AI Act 등)
- AI 벤더에 대한 제3자 위험 평가
- AI 개발팀을 위한 보안 인식 교육
실습 연습: 모니터링, 거버넌스, 사건 대응 절차를 포함하여 기업용 AI 챗봇의 완전한 보안 아키텍처 설계
모듈 9: 도구 및 기술 (1시간)
학습 목표:
- AI 보안 도구를 평가하고 구현합니다
- 현재의 AI 보안 솔루션 지형을 이해합니다
- 실용적인 탐지 및 예방 역량을 구축합니다
다루는 주제:
- AI 보안 도구 생태계 및 벤더 지형
- 오픈 소스 보안 도구: Garak, PyRIT, Giskard
- AI 보안 및 모니터링을 위한 상용 솔루션
- 통합 패턴 및 배포 전략
- 도구 선택 기준 및 평가 프레임워크
실습 연습: AI 보안 테스트 도구 실습 데모 및 구현 계획 수립
모듈 10: 미래 트렌드 및 마무리 (1시간)
학습 목표:
- 부상하는 위협과 미래 보안 도전을 이해합니다
- 지속적 학습 및 개선 전략을 수립합니다
- 조직의 AI 보안 프로그램에 대한 실행 계획을 작성합니다
다루는 주제:
- 부상하는 위협: 딥페이크, 고급 프롬프트 인젝션, 모델 역전
- 미래 OWASP GenAI 프로젝트 개발 및 로드맵
- AI 보안 커뮤니티 구축 및 지식 공유
- 지속적 개선 및 위협 정보 통합
실행 계획 연습: 참여자 조직에서 OWASP GenAI 보안 관행을 구현하기 위한 90일 실행 계획 개발
요건
- 웹 애플리케이션 보안 원칙에 대한 일반적인 이해
- AI/ML 개념에 대한 기본적인 익숙함
- 보안 프레임워크 또는 위험 평가 방법론 경험 보유(우선)
대상受众
- 사이버 보안 전문가
- AI 개발자
- 시스템 아키텍트
- 컴플라이언스 담당자
- 보안 실무자
회원 평가 (1)
AI 공격과 보안 테스트를 시작하고 적극적으로 활용하기 위한 도구를 배우는过程을 매우 Enjoy 했습니다. 처음에는 없던 많은 지식을 얻었고, 과정이 제가 바란 대로 충족했습니다. 교육 중 가장 인상 깊었던 부분은 Comet Browser였으며, 그것이 할 수 있는 것에 놀랐습니다. 더 깊이 살펴보게 될 것입니다. 전반적으로 매우 좋은 과정이었고, 모든 OWASP GenAI 상위 10을 배우는 것을 Enjoy 했습니다.
Patrick Collins - Optum
코스 - OWASP GenAI Security
기계 번역됨