코스 개요

1일차: 기초와 주요 위협

모듈 1: OWASP GenAI 보안 프로젝트 소개 (1시간)

학습 목표:

  • OWASP Top 10에서 GenAI 특화 보안 도전 과제로의 진화를 이해합니다.
  • OWASP GenAI 보안 프로젝트 생태계와 리소스를 탐색합니다.
  • 전통적인 애플리케이션 보안과 AI 보안 사이의 주요 차이점을 식별합니다.

포함된 주제:

  • OWASP GenAI 보안 프로젝트의 임무와 범위 개요
  • Threat Defense COMPASS 프레임워크 소개
  • AI 보안 환경과 규제 요구 사항 이해
  • AI 공격 표면 vs 전통적인 웹 애플리케이션 취약점

실습: OWASP Threat Defense COMPASS 도구 설정 및 초기 위협 평가 수행

모듈 2: OWASP Top 10 for LLMs - Part 1 (2.5시간)

학습 목표:

  • 주요 다섯 가지 LLM 취약점을 마스터합니다.
  • 공격 벡터와 악용 기법을 이해합니다.
  • 실용적인 완화 전략을 적용합니다.

포함된 주제:

LLM01: 프롬프트 인젝션

  • 직접적 및 간접적 프롬프트 인젝션 기법
  • 숨겨진 명령어 공격과 크로스-프롬프트 오염
  • 실용적인 예: 챗봇 해제 및 안전 조치 우회
  • 방어 전략: 입력 정화, 프롬프트 필터링, 차별적 사생활 보호

LLM02: 민감 정보 누설

  • 훈련 데이터 추출 및 시스템 프롬프트 누설
  • 모델 동작 분석을 통한 민감 정보 노출
  • 사생활 영향과 규제 준수 고려사항
  • 완화: 출력 필터링, 액세스 제어, 데이터 익명화

LLM03: 공급망 취약점

  • 서드파티 모델 의존성 및 플러그인 보안
  • 타협된 훈련 데이터셋과 모델 중독
  • AI 구성 요소의 공급업체 위험 평가
  • 안전한 모델 배포 및 검증 프래티스

실습: 취약한 LLM 애플리케이션에 대한 프롬프트 인젝션 공격 실시 및 방어 조치 구현

모듈 3: OWASP Top 10 for LLMs - Part 2 (2시간)

포함된 주제:

LLM04: 데이터 및 모델 중독

  • 훈련 데이터 조작 기법
  • 중독된 입력을 통한 모델 동작 수정
  • 백도어 공격과 데이터 무결성 검증
  • 예방: 데이터 검증 파이프라인, 출처 추적

LLM05: 부적절한 출력 처리

  • LLM 생성 콘텐츠의 불안전한 처리
  • AI 생성 출력을 통한 코드 인젝션
  • AI 응답을 통한 크로스-사이트 스크립팅
  • 출력 검증 및 정화 프레임워크

실습: 데이터 중독 공격 시뮬레이션 및 강력한 출력 검증 메커니즘 구현

모듈 4: 고급 LLM 위협 (1.5시간)

포함된 주제:

LLM06: 과도한 에이전시

  • 자율적 의사결정 위험과 경계 위반
  • 에이전트 권한 및 허가 관리
  • 예상치 못한 시스템 상호작용과 권한 상승
  • 가드레일 구현 및 인간 감독 제어

LLM07: 시스템 프롬프트 누설

  • 시스템 지시서 노출 취약점
  • 프롬프트를 통한 자격 증명 및 논리 누설
  • 시스템 프롬프트 추출을 위한 공격 기법
  • 시스템 지시서와 외부 구성 보안

실습: 적절한 액세스 제어 및 모니터링을 포함한 안전한 에이전트 아키텍처 설계

2일차: 고급 위협과 구현

모듈 5: 신흥 AI 위협 (2시간)

학습 목표:

  • 최신 AI 보안 위협을 이해합니다.
  • 고급 탐지 및 예방 기법을 구현합니다.
  • 정교한 공격에 대한 강인한 AI 시스템 설계

포함된 주제:

LLM08: 벡터 및 임베딩 취약점

  • RAG 시스템 취약점과 벡터 데이터베이스 보안
  • 임베딩 중독 및 유사성 조작 공격
  • 의미 검색에서의 적대적 예시
  • 벡터 저장소 보안과 이상 탐지 구현

LLM09: 허위 정보와 모델 신뢰성

  • 환각 탐지 및 완화
  • 편향 증폭과 공정성 고려사항
  • 사실 확인 및 출처 검증 메커니즘
  • 콘텐츠 검증 및 인간 감독 통합

LLM10: 무한한 소비

  • 자원 고갈과 서비스 거부 공격
  • 속도 제한 및 리소스 관리 전략
  • 비용 최적화 및 예산 조절
  • 성능 모니터링 및 경고 시스템

실습: 벡터 데이터베이스 보호와 환각 탐지가 포함된 안전한 RAG 파이프라인 구축

모듈 6: 주체적 AI 보안 (2시간)

학습 목표:

  • 자율적 AI 에이전트의 고유한 보안 도전 과제를 이해합니다.
  • OWASP 주체적 AI 분류 체계를 실제 시스템에 적용합니다.
  • 다중 에이전트 환경을 위한 보안 제어 구현

포함된 주제:

  • 주체적 AI 및 자율 시스템 소개
  • OWASP 주체적 AI 위협 분류: 에이전트 설계, 메모리, 계획, 도구 사용, 배포
  • 다중 에이전트 시스템 보안 및 조정 리스크
  • 도구 오용, 메모리 중독, 목표 납치 공격
  • 에이전트 통신과 의사결정 과정 보안

실습: OWASP 주체적 AI 분류 체계를 사용한 다중 에이전트 고객 서비스 시스템 위협 모델링 연습

모듈 7: OWASP Threat Defense COMPASS 구현 (2시간)

학습 목표:

  • Threat Defense COMPASS의 실제 적용을 마스터합니다.
  • 조직의 보안 프로그램에 AI 위협 평가를 통합합니다.
  • 포괄적인 AI 위험 관리 전략을 개발합니다.

포함된 주제:

  • Threat Defense COMPASS 방법론 심층 조사
  • OODA Loop 통합: 관찰, 방향 설정, 결정, 행동
  • MITRE ATT&CK 및 ATLAS 프레임워크로 위협 매핑
  • AI 위험 탄력성 전략 대시보드 구축
  • 기존 보안 도구 및 프로세스 통합

실습: Microsoft Copilot 배포 시나리오를 위한 COMPASS를 사용한 완전한 위협 평가

모듈 8: 실용적인 구현 및 최선의 방법 (2.5시간)

학습 목표:

  • 보안 AI 아키텍처를 바닥부터 설계합니다.
  • AI 시스템을 위한 모니터링 및 사고 대응 구현
  • AI 보안을 위한 거버넌스 프레임워크 작성

포함된 주제:

보안 AI 개발 라이프사이클:

  • AI 애플리케이션을 위한 보안 설계 원칙
  • LLM 통합에 대한 코드 검토 실천
  • 테스트 방법론 및 취약점 스캐닝
  • 배포 보안과 프로덕션 강화

모니터링 및 탐지:

  • AI 시스템에 대한 특정 로깅 및 모니터링 요구 사항
  • AI 시스템의 이상 탐지
  • AI 보안 이벤트를 위한 사고 대응 절차
  • 포렌식 및 조사 기법

거버넌스 및 준수:

  • AI 위험 관리 프레임워크 및 정책
  • 규제 준수 고려사항 (GDPR, AI Act 등)
  • AI 공급업체의 제삼자 위험 평가
  • AI 개발 팀을 위한 보안 인식 교육

실습: 모니터링, 거버넌스 및 사고 대응 절차를 포함한 기업 AI 챗봇의 완전한 보안 아키텍처 설계

모듈 9: 도구 및 기술 (1시간)

학습 목표:

  • AI 보안 도구를 평가하고 구현합니다.
  • 현재 AI 보안 솔루션 환경을 이해합니다.
  • 실용적인 탐지 및 예방 능력을 구축합니다.

포함된 주제:

  • AI 보안 도구 생태계 및 공급업체 환경
  • 오픈소스 보안 도구: Garak, PyRIT, Giskard
  • AI 보안 및 모니터링을 위한 상용 솔루션
  • 통합 패턴 및 배포 전략
  • 도구 선택 기준 및 평가 프레임워크

실습: AI 보안 테스트 도구의 실시간 시연 및 구현 계획

모듈 10: 미래 동향과 요약 (1시간)

학습 목표:

  • 신흥 위협과 미래 보안 도전 과제를 이해합니다.
  • 지속 학습 및 개선 전략을 개발합니다.
  • 조직의 AI 보안 프로그램을 위한 행동 계획을 만듭니다.

포함된 주제:

  • 신흥 위협: 딥페이크, 고급 프롬프트 인젝션, 모델 역추적
  • OWASP GenAI 프로젝트의 미래 발전 및 로드맵
  • AI 보안 커뮤니티 구축 및 지식 공유
  • 지속적인 개선과 위협 정보 통합

행동 계획 연습: 참가자의 조직에서 OWASP GenAI 보안 실천을 구현하기 위한 90일 행동 계획 개발

요건

  • 웹 애플리케이션 보안 원칙에 대한 일반적인 이해
  • AI/ML 개념에 대한 기본적인 친숙성
  • 보안 프레임워크나 위험 평가 방법론에 대한 경험 우대

대상자

  • 보안 전문가
  • AI 개발자
  • 시스템 아키텍트
  • 준법감시관
  • 보안 실무자
 14 시간

참가자 수


참가자당 가격

예정된 코스

관련 카테고리