코스 개요
1일차: 기초 및 핵심 위협 요소
모듈 1: OWASP GenAI 보안 프로젝트 소개 (1시간)
학습 목표:
- OWASP Top 10에서 GenAI 보안으로 이어지는 발전 과정을 이해합니다.
- OWASP GenAI 보안 프로젝트의 구성 요소와 자료들을 파악할 수 있습니다.
- 기존 애플리케이션 보안과 AI 보안 간의 핵심 차이점을 설명합니다.
주요 내용:
- OWASP GenAI 보안 프로젝트의 목적과 범위 설명
- Threat Defense COMPASS 프레임워크 개요
- AI 보안 환경 및 관련 규제 요건 이해
- 전통적인 웹 애플리케이션 취약점과 AI 공격 벡터 간의 비교
실습 과제: OWASP Threat Defense COMPASS 도구 설치 및 초기 위협 평가 수행
모듈 2: LLM용 OWASP Top 10 – 파트 1 (2.5시간)
학습 목표:
- 가장 중요한 다섯 가지 LLM 취약점을 숙지합니다.
- 각각의 공격 벡터와 그 실행 기법들을 이해합니다.
- 대응 방안과 완화 전략을 현장에서 적용해 봅니다.
주요 내용:
LLM01: 프롬프트 주입 공격
- 직접적 및 간접적 프롬프트 주입 기법
- 숨겨진 지시 사항 공격과 다중 프롬프트 간 상호 침투 현상
- 실제 예시: 채팅봇 탈옥 기법 및 안전 정책 우회 방법
- 대응 방안: 입력값 검증, 프롬프트 필터링, 차등 개인정보 보호 전략
LLM02: 민감 정보 유출 문제
- 훈련용 데이터 탈취 및 시스템 지시사항 누출 현상
- 모델 동작을 통한 민감 정보 노출 여부 분석
- 개인정보 보호 문제와 관련 규제 준수 사항
- 대응책: 출력값 필터링, 접근 통제 및 데이터 익명화 기법
LLM03: 공급망 취약점 문제
- 외부 모델 종속성 및 플러그인 보안 관리
- 훈련 데이터의 오염 가능성과 모델 포이즈닝 현상
- AI 관련 부품을 공급하는 벤더에 대한 위험 평가 절차
- 안전한 모델 배포 및 검증 방법론
실습 과제: 취약점이 존재하는 LLM 애플리케이션을 대상으로 프롬프트 주입 공격 시뮬레이션 및 방어 방법 적용 연습
모듈 3: LLM용 OWASP Top 10 – 파트 2 (2시간)
주요 내용:
LLM04: 데이터 및 모델 포이즈닝 문제
- 훈련 데이터 변조 기법들
- 악의적 입력값을 통한 모델 동작 변화 현상
- 백도어 공격 및 데이터 무결성 검증 필요성
- 대응 방안: 신뢰할 수 있는 데이터 처리 파이프라인과 출처 추적 절차
LLM05: 부적절한 출력값 처리 문제
- LLM이 생성한 내용을 안전하게 처리하는 방법의 중요성
- AI가 만든 코드를 통한 인젝션 공격 가능성
- AI 응답 결과로 발생할 수 있는 크로스사이트 스크립팅 위험
- 출력값 검증 및 무결성 확보 전략
실습 과제: 데이터 포이즈닝 공격을 시뮬레이션하고 강력한 출력값 검증 체계를 설계해 보기
모듈 4: 고급 LLM 위협 요소 (1.5시간)
주요 내용:
LLM06: 과도한 자율성 문제
- AI 에이전트가 스스로 결정하는 행위와 경계를 넘는 가능성
- 에이전트의 권한 관리 및 접근 제어 방식
- 의도치 않은 시스템 간 상호작용이나 권한 확대 현상
- 안전장치 설정과 인간 감시 체계 구축 방법
LLM07: 시스템 지시사항 유출 문제
- 시스템 내부 명령어가 외부에 노출될 가능성
- 인증 정보나 논리 구조가 프롬프트를 통해 유출되는 현상
- 시스템 지시사항을 탈취하려는 다양한 공격 전략
- 외부 설정값과 내부 명령어 보호 방안
실습 과제: 적절한 접근 제어와 모니터링 체계가 포함된 안전한 에이전트 아키텍처 설계 연습
2일차: 고급 위협 요소 및 실제 구현 기법
모듈 5: 신규 AI 위협 요소 (2시간)
학습 목표:
- 최신 AI 보안 관련 위협들을 파악합니다.
- 고도화된 탐지 및 예방 기법을 실제에 적용할 수 있습니다.
- 복잡한 공격에도 견고하게 대응 가능한 AI 시스템 구조를 설계합니다.
주요 내용:
LLM08: 벡터 및 임베딩 취약점 문제
- RAG 시스템의 보안상 한계와 벡터 데이터베이스 보호 필요성
- 임베딩 포이즈닝 및 유사도 조작 공격 현황
- 의미 기반 검색 시 발생 가능한 적대적 예제들의 영향력
- 벡터 저장소 보호와 이상 징후 탐지 체계 구축 방법
LLM09: 허위 정보 생성 및 모델 신뢰도 문제
- AI의 환각 현상을 탐지하고 조절하는 기술
- 편향 확대 및 형평성 유지 방안
- 사실 확인 기제와 출처 검증 시스템 운영 방식
- 콘텐츠 유효성 검사 체계 및 인간 감독 절차 도입 방법
LLM10: 무제한 자원 사용 문제
- 리소스 과다 소비로 인해 서비스 장애가 발생할 가능성
- 요청 수 제한 설정 및 자원 배분 관리 기법
- 비용 최적화와 예산 통제 방안
- 성능 모니터링 및 알람 체계 구축 절차
실습 과제: 벡터 데이터베이스 보호와 환각 방지 기능을 포함한 안전한 RAG 파이프라인 설계 연습
모듈 6: 에이전트형 AI 보안 (2시간)
학습 목표:
- 자율적으로 동작하는 AI 에이전트들이 직면한 고유한 보안 문제들을 이해합니다.
- OWASP Agentic AI 위협 분류법을 실제 시스템에 적용해 봅니다.
- 다중 에이전트 환경에서 보안 통제 체계를 도입할 수 있습니다.
주요 내용:
- 에이전트형 AI와 자율 시스템의 개념 설명
- OWASP Agentic AI 위협 분류법: 에이전트 설계, 메모리 관리, 계획 수립, 도구 활용, 배포 방식 등
- 다중 에이전트 시스템에서 발생 가능한 보안 문제와 상호 연동 리스크
- 도구 오남용, 메모리 포이즈닝 및 목표 변경 공격 등의 실례
- 에이전트 간 소통 안전성과 의사결정 과정을 보호하는 방법
실습 과제: 다중 에이전트 고객 서비스 시스템을 대상으로 OWASP Agentic AI 분류법 기반 위협 모델링 연습
모듈 7: OWASP Threat Defense COMPASS 구현 (2시간)
학습 목표:
- Threat Defense COMPASS를 실무에 적극 활용하는 법을 익힙니다.
- 조직 내 보안 프로그램과 AI 위협 평가 절차를 통합합니다.
- 포괄적인 AI 리스크 관리 전략을 설계할 수 있습니다.
주요 내용:
- Threat Defense COMPASS 방법론의 심층 분석
- 관찰·방향 설정·판단·조치(OODA) 루프 도입 방식
- MITRE ATT&CK 및 ATLAS 프레임워크와의 대응 관계 파악
- AI 위협 저항력 평가용 대시보드 구축 전략
- 기존 보안 인프라 및 운영 프로세스와의 연계 방안
실습 과제: Microsoft Copilot 배포 환경을 가정하여 COMPASS를 활용한 완전한 위협 평가 절차 수행
모듈 8: 실무 적용 및 모범 사례 (2.5시간)
학습 목표:
- 기업 환경에서 안전한 AI 아키텍처를 기획할 수 있습니다.
- AI 시스템용 모니터링 체계와 인시던트 대응 절차를 수립합니다.
- AI 보안 관련 거버넌스 프레임워크를 개발할 수 있습니다.
주요 내용:
안전한 AI 개발 주기:
- AI 애플리케이션 개발 시 보안을 고려한 설계 원칙
- LLM 연동 코드 검토 방법론
- 테스트 절차 및 취약점 스캐닝 기술 활용법
- 배포 단계에서의 보안 강화 전략
모니터링 및 탐지 체계:
- AI 시스템에 특화된 로그 기록 및 모니터링 요건
- 비정상적인 동작을 식별하는 이상 징후 탐지 방식
- AI 보안 사고 시 대응 절차 수립 방법
- 포렌직스 및 조사 기법 활용법
거버넌스 및 컴플라이언스:
- AI 리스크 관리 프레임워크와 정책 수립 방향
- GDPR, AI Act 등 관련 규제 준수 요건 이해
- AI 공급업체에 대한 제3자 리스크 평가 절차
- AI 개발진 대상 보안 인식 강화 교육 내용
실습 과제: 모니터링, 거버넌스 및 인시던트 대응 절차를 모두 포함한 기업용 AI 챗봇 보안 아키텍처 설계 연습
모듈 9: 도구 및 기술 (1시간)
학습 목표:
- AI 보안 관련 도구들을 평가하고 활용할 수 있습니다.
- 현재 시점의 AI 보안 솔루션 시장 동향을 파악합니다.
- 실무에 적합한 탐지 및 예방 도구를 구축해 봅니다.
주요 내용:
- AI 보안용 도구 생태계 및 주요 공급업체 현황
- 오픈소스 도구인 Garak, PyRIT, Giskard의 특성 설명
- 상용 AI 보안 및 모니터링 솔루션 개요
- 다양한 도구를 체계적으로 통합할 수 있는 방식
- 도구 선택 시 고려해야 할 기준과 평가 프레임워크 설명
실습 과제: AI 보안 테스트용 도구 사용법을 익히고 실제 적용 계획 수립 연습
모듈 10: 미래 동향 및 마무리 (1시간)
학습 목표:
- 신생 위협 요소와 앞으로의 보안 문제들을 전망합니다.
- 지속적인 학습과 역량 향상 방향을 모색합니다.
- 조직 내 AI 보안 계획 실행 단계를 구체화합니다.
주요 내용:
- 딥페이크 기술, 고도화된 프롬프트 주입 공격, 모델 역방향 설계 등 신규 위협들
- 향후 OWASP GenAI 프로젝트 발전 방향 및 로드맵 설명
- AI 보안 커뮤니티 형성과 지식 공유 방법론
- 끊임없는 기술 변화에 대응하는 위협 정보 통합 방향
실습 과제: OWASP GenAI 보안 기법을 조직 내부에 적용하기 위한 90일 실행 계획 수립 연습
요건
- 웹 애플리케이션 보안 원칙에 대한 기본적인 이해
- AI/ML 관련 개념에 대한 초기 지식
- 보안 프레임워크나 위험 평가 방법론에 대한 경험이 있으면 좋습니다.
대상자
- 사이버보안 전문가
- AI 개발자
- 시스템 아키텍트
- 컴플라이언스 담당자
- 보안 실무자
회원 평가 (1)
AI 공격과 보안 테스트를 시작하고 적극적으로 활용하기 위한 도구를 배우는过程을 매우 Enjoy 했습니다. 처음에는 없던 많은 지식을 얻었고, 과정이 제가 바란 대로 충족했습니다. 교육 중 가장 인상 깊었던 부분은 Comet Browser였으며, 그것이 할 수 있는 것에 놀랐습니다. 더 깊이 살펴보게 될 것입니다. 전반적으로 매우 좋은 과정이었고, 모든 OWASP GenAI 상위 10을 배우는 것을 Enjoy 했습니다.
Patrick Collins - Optum
코스 - OWASP GenAI Security
기계 번역됨