코스 개요
1일차: 기초 및 핵심 위협
모듈 1: OWASP GenAI 보안 프로젝트 소개 (1시간)
학습 목표:
- OWASP Top 10에서 GenAI 전용 보안 과제로의 진화 이해
- OWASP GenAI 보안 프로젝트 생태계 및 자원 탐색
- 기존 애플리케이션 보안과 AI 보안 간의 주요 차이점 식별
다루는 주제:
- OWASP GenAI 보안 프로젝트의 미션 및 범위 개요
- Threat Defense COMPASS 프레임워크 소개
- AI 보안 현황 및 규제 요구사항 이해
- AI 공격 표면과 기존 웹 애플리케이션 취약점 비교
실습 활동: OWASP Threat Defense COMPASS 도구 설정 및 초기 위협 평가 수행
모듈 2: LLM을 위한 OWASP Top 10 - 파트 1 (2.5시간)
학습 목표:
- 핵심적인 다섯 가지 LLM 취약점 숙달
- 공격 벡터 및 악용 기술 이해
- 실무적 완화 전략 적용
다루는 주제:
LLM01: 프롬프트 인젝션 (Prompt Injection)
- 직접 및 간접 프롬프트 인젝션 기술
- 숨겨진 지시 공격 및 크로스-프롬프트 오염
- 실제 예시: 챗봇 우회 및 안전 조치 우회 (Jailbreaking)
- 방어 전략: 입력 정화, 프롬프트 필터링, 차등 프라이버시
LLM02: 민감 정보 유출
- 학습 데이터 추출 및 시스템 프롬프트 누수
- 민감 정보 노출을 위한 모델 행동 분석
- 프라이버시 영향 및 규제 준수 고려사항
- 완화 방안: 출력 필터링, 접근 통제, 데이터 익명화
LLM03: 공급망 취약점
- 타사 모델 의존성 및 플러그인 보안
- 복제된 학습 데이터셋 및 모델 중독 (Model Poisoning)
- AI 구성품에 대한 벤더 리스크 평가
- 보안 모델 배포 및 검증 관행
실습 활동: 취약한 LLM 애플리케이션을 대상으로 한 프롬프트 인젝션 공격 실습 및 방어 조치 구현
모듈 3: LLM을 위한 OWASP Top 10 - 파트 2 (2시간)
다루는 주제:
LLM04: 데이터 및 모델 중독
- 학습 데이터 조작 기술
- 중독된 입력을 통한 모델 행동 변경
- 백도어 공격 및 데이터 무결성 검증
- 방지 방안: 데이터 검증 파이프라인, 출처 추적 (Provenance Tracking)
LLM05: 부적절한 출력 처리
- LLM 생성 콘텐츠의 보안되지 않은 처리
- AI 생성 출력을 통한 코드 인젝션
- AI 응답을 통한 크로스 사이트 스크립팅 (XSS)
- 출력 검증 및 정화 프레임워크
실습 활동: 데이터 중독 공격 시뮬레이션 및 강력한 출력 검증 메커니즘 구현
모듈 4: 고급 LLM 위협 (1.5시간)
다루는 주제:
LLM06: 과도한 대리권 (Excessive Agency)
- 자율적 의사결정 위험 및 경계 위반
- 에이전트 권한 및 접근 관리
- 의도하지 않은 시스템 상호작용 및 권한 상승
- 가드레일 구현 및 인간 감독 통제
LLM07: 시스템 프롬프트 누출
- 시스템 지시 노출 취약점
- 프롬프트를 통한 자격 증명 및 로직 유출
- 시스템 프롬프트 추출을 위한 공격 기술
- 시스템 지시 및 외부 구성 요소 보호
실습 활동: 적절한 접근 통제와 모니터링이 적용된 안전한 에이전트 아키텍처 설계
2일차: 고급 위협 및 구현
모듈 5: 신규 AI 위협 (2시간)
학습 목표:
- 최신 AI 보안 위협 이해
- 고급 탐지 및 방지 기술 구현
- 정교한 공격에 견고한 AI 시스템 설계
다루는 주제:
LLM08: 벡터 및 임베딩 약점
- RAG 시스템 취약점 및 벡터 데이터베이스 보안
- 임베딩 중독 및 유사성 조작 공격
- 의미론적 검색에서의 적대적 예제 (Adversarial Examples)
- 벡터 저장소 보호 및 이상 탐지 구현
LLM09: 허위 정보 및 모델 신뢰성
- 환각 (Hallucination) 탐지 및 완화
- 편향 증폭 및 공정성 고려사항
- 사실 확인 및 출처 검증 메커니즘
- 콘텐츠 검증 및 인간 감독 통합
LLM10: 제한 없는 소비 (Unbounded Consumption)
- 자원 고갈 및 서비스 거부 공격
- 요속 제한 (Rate Limiting) 및 자원 관리 전략
- 비용 최적화 및 예산 통제
- 성능 모니터링 및 알림 시스템
실습 활동: 벡터 데이터베이스 보호 및 환각 탐지가 포함된 안전한 RAG 파이프라인 구축
모듈 6: 에이전트 AI 보안 (2시간)
학습 목표:
- 자율형 AI 에이전트의 고유한 보안 과제 이해
- OWASP Agentic AI 분류 체계를 실제 시스템에 적용
- 다중 에이전트 환경에 대한 보안 통제 구현
다루는 주제:
- 에이전트 AI 및 자율 시스템 소개
- OWASP Agentic AI 위협 분류: 에이전트 설계, 메모리, 계획, 도구 사용, 배포
- 다중 에이전트 시스템 보안 및 조정 위험
- 도구 오용, 메모리 중독, 목표 탈취 공격
- 에이전트 의사소통 및 의사결정 과정 보호
실습 활동: 다중 에이전트 고객 지원 시스템에 OWASP Agentic AI 분류 체계를 사용한 위협 모델링 실습
모듈 7: OWASP Threat Defense COMPASS 구현 (2시간)
학습 목표:
- Threat Defense COMPASS의 실무 적용 숙달
- 조직 보안 프로그램에 AI 위협 평가 통합
- 포괄적인 AI 리스크 관리 전략 개발
다루는 주제:
- Threat Defense COMPASS 방법론 심층 분석
- OODA 루프 통합: 관찰 (Observe), 방향 설정 (Orient), 결정 (Decide), 행동 (Act)
- MITRE ATT&CK 및 ATLAS 프레임워크로 위협 매핑
- AI 위협 탄력성 전략 대시보드 구축
- 기존 보안 도구 및 프로세스와의 통합
실습 활동: Microsoft Copilot 도입 시나리오에 COMPASS를 활용한 종합 위협 평가 수행
모듈 8: 실무 구현 및 모범 사례 (2.5시간)
학습 목표:
- 기초부터 안전한 AI 아키텍처 설계
- AI 시스템에 대한 모니터링 및 사고 대응 구현
- AI 보안 거버넌스 체계 수립
다루는 주제:
안전한 AI 개발 수명주기:
- AI 애플리케이션을 위한 설계 단계 보안 (Security-by-design) 원칙
- LLM 통합 코드를 위한 코드 리뷰 관행
- 테스트 방법론 및 취약점 스캐닝
- 배포 보안 및 프로덕션 강건화 (Hardening)
모니터링 및 탐지:
- AI 전용 로깅 및 모니터링 요구사항
- AI 시스템을 위한 이상 탐지
- AI 보안 사건의 사고 대응 절차
- 포렌식 및 조사 기술
거버넌스 및 준수:
- AI 리스크 관리 프레임워크 및 정책
- 규제 준수 고려사항 (GDPR, AI Act 등)
- AI 벤더에 대한 제3자 리스크 평가
- AI 개발 팀을 위한 보안 인식 교육
실습 활동: 모니터링, 거버넌스 및 사고 대응 절차를 포함하는 기업용 AI 챗봇의 전체 보안 아키텍처 설계
모듈 9: 도구 및 기술 (1시간)
학습 목표:
- AI 보안 도구 평가 및 구현
- 현재 AI 보안 솔루션 현황 이해
- 실무적 탐지 및 방지 역량 구축
다루는 주제:
- AI 보안 도구 생태계 및 벤더 현황
- 오픈소스 보안 도구: Garak, PyRIT, Giskard
- 상용 AI 보안 및 모니터링 솔루션
- 통합 패턴 및 배포 전략
- 도구 선정 기준 및 평가 프레임워크
실습 활동: AI 보안 테스트 도구의 실습 데모 및 구현 계획 수립
모듈 10: 미래 동향 및 마무리 (1시간)
학습 목표:
- 신흥 위협 및 미래 보안 과제 이해
- 지속적 학습 및 개선 전략 개발
- 조직 AI 보안 프로그램을 위한 행동 계획 수립
다루는 주제:
- 신흥 위협: 딥페이크, 고급 프롬프트 인젝션, 모델 역공출 (Model Inversion)
- 향후 OWASP GenAI 프로젝트 발전 및 로드맵
- AI 보안 커뮤니티 구축 및 지식 공유
- 지속적 개선 및 위협 인텔리전스 통합
행동 계획 실습: 참여자 조직에서 OWASP GenAI 보안 관행을 구현하기 위한 90일간 행동 계획 수립
요건
- 웹 애플리케이션 보안 원칙에 대한 일반적인 이해
- AI/ML 개념에 대한 기초적인 친숙함
- 보안 프레임워크 또는 위험 평가 방법론 경험 있음(우대 사항)
대상
- 사이버 보안 전문가
- AI 개발자
- 시스템 아키텍트
- 컴플라이언스 책임자
- 보수 실무자
회원 평가 (1)
AI 공격과 보안 테스트를 시작하고 적극적으로 활용하기 위한 도구를 배우는过程을 매우 Enjoy 했습니다. 처음에는 없던 많은 지식을 얻었고, 과정이 제가 바란 대로 충족했습니다. 교육 중 가장 인상 깊었던 부분은 Comet Browser였으며, 그것이 할 수 있는 것에 놀랐습니다. 더 깊이 살펴보게 될 것입니다. 전반적으로 매우 좋은 과정이었고, 모든 OWASP GenAI 상위 10을 배우는 것을 Enjoy 했습니다.
Patrick Collins - Optum
코스 - OWASP GenAI Security
기계 번역됨