코스 개요
1일차: 기초와 주요 위협
모듈 1: OWASP GenAI 보안 프로젝트 소개 (1시간)
학습 목표:
- OWASP Top 10에서 GenAI 특화 보안 도전 과제로의 진화를 이해합니다.
- OWASP GenAI 보안 프로젝트 생태계와 리소스를 탐색합니다.
- 전통적인 애플리케이션 보안과 AI 보안 사이의 주요 차이점을 식별합니다.
포함된 주제:
- OWASP GenAI 보안 프로젝트의 임무와 범위 개요
- Threat Defense COMPASS 프레임워크 소개
- AI 보안 환경과 규제 요구 사항 이해
- AI 공격 표면 vs 전통적인 웹 애플리케이션 취약점
실습: OWASP Threat Defense COMPASS 도구 설정 및 초기 위협 평가 수행
모듈 2: OWASP Top 10 for LLMs - Part 1 (2.5시간)
학습 목표:
- 주요 다섯 가지 LLM 취약점을 마스터합니다.
- 공격 벡터와 악용 기법을 이해합니다.
- 실용적인 완화 전략을 적용합니다.
포함된 주제:
LLM01: 프롬프트 인젝션
- 직접적 및 간접적 프롬프트 인젝션 기법
- 숨겨진 명령어 공격과 크로스-프롬프트 오염
- 실용적인 예: 챗봇 해제 및 안전 조치 우회
- 방어 전략: 입력 정화, 프롬프트 필터링, 차별적 사생활 보호
LLM02: 민감 정보 누설
- 훈련 데이터 추출 및 시스템 프롬프트 누설
- 모델 동작 분석을 통한 민감 정보 노출
- 사생활 영향과 규제 준수 고려사항
- 완화: 출력 필터링, 액세스 제어, 데이터 익명화
LLM03: 공급망 취약점
- 서드파티 모델 의존성 및 플러그인 보안
- 타협된 훈련 데이터셋과 모델 중독
- AI 구성 요소의 공급업체 위험 평가
- 안전한 모델 배포 및 검증 프래티스
실습: 취약한 LLM 애플리케이션에 대한 프롬프트 인젝션 공격 실시 및 방어 조치 구현
모듈 3: OWASP Top 10 for LLMs - Part 2 (2시간)
포함된 주제:
LLM04: 데이터 및 모델 중독
- 훈련 데이터 조작 기법
- 중독된 입력을 통한 모델 동작 수정
- 백도어 공격과 데이터 무결성 검증
- 예방: 데이터 검증 파이프라인, 출처 추적
LLM05: 부적절한 출력 처리
- LLM 생성 콘텐츠의 불안전한 처리
- AI 생성 출력을 통한 코드 인젝션
- AI 응답을 통한 크로스-사이트 스크립팅
- 출력 검증 및 정화 프레임워크
실습: 데이터 중독 공격 시뮬레이션 및 강력한 출력 검증 메커니즘 구현
모듈 4: 고급 LLM 위협 (1.5시간)
포함된 주제:
LLM06: 과도한 에이전시
- 자율적 의사결정 위험과 경계 위반
- 에이전트 권한 및 허가 관리
- 예상치 못한 시스템 상호작용과 권한 상승
- 가드레일 구현 및 인간 감독 제어
LLM07: 시스템 프롬프트 누설
- 시스템 지시서 노출 취약점
- 프롬프트를 통한 자격 증명 및 논리 누설
- 시스템 프롬프트 추출을 위한 공격 기법
- 시스템 지시서와 외부 구성 보안
실습: 적절한 액세스 제어 및 모니터링을 포함한 안전한 에이전트 아키텍처 설계
2일차: 고급 위협과 구현
모듈 5: 신흥 AI 위협 (2시간)
학습 목표:
- 최신 AI 보안 위협을 이해합니다.
- 고급 탐지 및 예방 기법을 구현합니다.
- 정교한 공격에 대한 강인한 AI 시스템 설계
포함된 주제:
LLM08: 벡터 및 임베딩 취약점
- RAG 시스템 취약점과 벡터 데이터베이스 보안
- 임베딩 중독 및 유사성 조작 공격
- 의미 검색에서의 적대적 예시
- 벡터 저장소 보안과 이상 탐지 구현
LLM09: 허위 정보와 모델 신뢰성
- 환각 탐지 및 완화
- 편향 증폭과 공정성 고려사항
- 사실 확인 및 출처 검증 메커니즘
- 콘텐츠 검증 및 인간 감독 통합
LLM10: 무한한 소비
- 자원 고갈과 서비스 거부 공격
- 속도 제한 및 리소스 관리 전략
- 비용 최적화 및 예산 조절
- 성능 모니터링 및 경고 시스템
실습: 벡터 데이터베이스 보호와 환각 탐지가 포함된 안전한 RAG 파이프라인 구축
모듈 6: 주체적 AI 보안 (2시간)
학습 목표:
- 자율적 AI 에이전트의 고유한 보안 도전 과제를 이해합니다.
- OWASP 주체적 AI 분류 체계를 실제 시스템에 적용합니다.
- 다중 에이전트 환경을 위한 보안 제어 구현
포함된 주제:
- 주체적 AI 및 자율 시스템 소개
- OWASP 주체적 AI 위협 분류: 에이전트 설계, 메모리, 계획, 도구 사용, 배포
- 다중 에이전트 시스템 보안 및 조정 리스크
- 도구 오용, 메모리 중독, 목표 납치 공격
- 에이전트 통신과 의사결정 과정 보안
실습: OWASP 주체적 AI 분류 체계를 사용한 다중 에이전트 고객 서비스 시스템 위협 모델링 연습
모듈 7: OWASP Threat Defense COMPASS 구현 (2시간)
학습 목표:
- Threat Defense COMPASS의 실제 적용을 마스터합니다.
- 조직의 보안 프로그램에 AI 위협 평가를 통합합니다.
- 포괄적인 AI 위험 관리 전략을 개발합니다.
포함된 주제:
- Threat Defense COMPASS 방법론 심층 조사
- OODA Loop 통합: 관찰, 방향 설정, 결정, 행동
- MITRE ATT&CK 및 ATLAS 프레임워크로 위협 매핑
- AI 위험 탄력성 전략 대시보드 구축
- 기존 보안 도구 및 프로세스 통합
실습: Microsoft Copilot 배포 시나리오를 위한 COMPASS를 사용한 완전한 위협 평가
모듈 8: 실용적인 구현 및 최선의 방법 (2.5시간)
학습 목표:
- 보안 AI 아키텍처를 바닥부터 설계합니다.
- AI 시스템을 위한 모니터링 및 사고 대응 구현
- AI 보안을 위한 거버넌스 프레임워크 작성
포함된 주제:
보안 AI 개발 라이프사이클:
- AI 애플리케이션을 위한 보안 설계 원칙
- LLM 통합에 대한 코드 검토 실천
- 테스트 방법론 및 취약점 스캐닝
- 배포 보안과 프로덕션 강화
모니터링 및 탐지:
- AI 시스템에 대한 특정 로깅 및 모니터링 요구 사항
- AI 시스템의 이상 탐지
- AI 보안 이벤트를 위한 사고 대응 절차
- 포렌식 및 조사 기법
거버넌스 및 준수:
- AI 위험 관리 프레임워크 및 정책
- 규제 준수 고려사항 (GDPR, AI Act 등)
- AI 공급업체의 제삼자 위험 평가
- AI 개발 팀을 위한 보안 인식 교육
실습: 모니터링, 거버넌스 및 사고 대응 절차를 포함한 기업 AI 챗봇의 완전한 보안 아키텍처 설계
모듈 9: 도구 및 기술 (1시간)
학습 목표:
- AI 보안 도구를 평가하고 구현합니다.
- 현재 AI 보안 솔루션 환경을 이해합니다.
- 실용적인 탐지 및 예방 능력을 구축합니다.
포함된 주제:
- AI 보안 도구 생태계 및 공급업체 환경
- 오픈소스 보안 도구: Garak, PyRIT, Giskard
- AI 보안 및 모니터링을 위한 상용 솔루션
- 통합 패턴 및 배포 전략
- 도구 선택 기준 및 평가 프레임워크
실습: AI 보안 테스트 도구의 실시간 시연 및 구현 계획
모듈 10: 미래 동향과 요약 (1시간)
학습 목표:
- 신흥 위협과 미래 보안 도전 과제를 이해합니다.
- 지속 학습 및 개선 전략을 개발합니다.
- 조직의 AI 보안 프로그램을 위한 행동 계획을 만듭니다.
포함된 주제:
- 신흥 위협: 딥페이크, 고급 프롬프트 인젝션, 모델 역추적
- OWASP GenAI 프로젝트의 미래 발전 및 로드맵
- AI 보안 커뮤니티 구축 및 지식 공유
- 지속적인 개선과 위협 정보 통합
행동 계획 연습: 참가자의 조직에서 OWASP GenAI 보안 실천을 구현하기 위한 90일 행동 계획 개발
요건
- 웹 애플리케이션 보안 원칙에 대한 일반적인 이해
- AI/ML 개념에 대한 기본적인 친숙성
- 보안 프레임워크나 위험 평가 방법론에 대한 경험 우대
대상자
- 보안 전문가
- AI 개발자
- 시스템 아키텍트
- 준법감시관
- 보안 실무자