연락처 정보

코스 개요

1일차: 기초 및 핵심 위협 요소

모듈 1: OWASP GenAI 보안 프로젝트 소개 (1시간)

학습 목표:

  • OWASP Top 10에서 GenAI 보안으로 이어지는 발전 과정을 이해합니다.
  • OWASP GenAI 보안 프로젝트의 구성 요소와 자료들을 파악할 수 있습니다.
  • 기존 애플리케이션 보안과 AI 보안 간의 핵심 차이점을 설명합니다.

주요 내용:

  • OWASP GenAI 보안 프로젝트의 목적과 범위 설명
  • Threat Defense COMPASS 프레임워크 개요
  • AI 보안 환경 및 관련 규제 요건 이해
  • 전통적인 웹 애플리케이션 취약점과 AI 공격 벡터 간의 비교

실습 과제: OWASP Threat Defense COMPASS 도구 설치 및 초기 위협 평가 수행

모듈 2: LLM용 OWASP Top 10 – 파트 1 (2.5시간)

학습 목표:

  • 가장 중요한 다섯 가지 LLM 취약점을 숙지합니다.
  • 각각의 공격 벡터와 그 실행 기법들을 이해합니다.
  • 대응 방안과 완화 전략을 현장에서 적용해 봅니다.

주요 내용:

LLM01: 프롬프트 주입 공격

  • 직접적 및 간접적 프롬프트 주입 기법
  • 숨겨진 지시 사항 공격과 다중 프롬프트 간 상호 침투 현상
  • 실제 예시: 채팅봇 탈옥 기법 및 안전 정책 우회 방법
  • 대응 방안: 입력값 검증, 프롬프트 필터링, 차등 개인정보 보호 전략

LLM02: 민감 정보 유출 문제

  • 훈련용 데이터 탈취 및 시스템 지시사항 누출 현상
  • 모델 동작을 통한 민감 정보 노출 여부 분석
  • 개인정보 보호 문제와 관련 규제 준수 사항
  • 대응책: 출력값 필터링, 접근 통제 및 데이터 익명화 기법

LLM03: 공급망 취약점 문제

  • 외부 모델 종속성 및 플러그인 보안 관리
  • 훈련 데이터의 오염 가능성과 모델 포이즈닝 현상
  • AI 관련 부품을 공급하는 벤더에 대한 위험 평가 절차
  • 안전한 모델 배포 및 검증 방법론

실습 과제: 취약점이 존재하는 LLM 애플리케이션을 대상으로 프롬프트 주입 공격 시뮬레이션 및 방어 방법 적용 연습

모듈 3: LLM용 OWASP Top 10 – 파트 2 (2시간)

주요 내용:

LLM04: 데이터 및 모델 포이즈닝 문제

  • 훈련 데이터 변조 기법들
  • 악의적 입력값을 통한 모델 동작 변화 현상
  • 백도어 공격 및 데이터 무결성 검증 필요성
  • 대응 방안: 신뢰할 수 있는 데이터 처리 파이프라인과 출처 추적 절차

LLM05: 부적절한 출력값 처리 문제

  • LLM이 생성한 내용을 안전하게 처리하는 방법의 중요성
  • AI가 만든 코드를 통한 인젝션 공격 가능성
  • AI 응답 결과로 발생할 수 있는 크로스사이트 스크립팅 위험
  • 출력값 검증 및 무결성 확보 전략

실습 과제: 데이터 포이즈닝 공격을 시뮬레이션하고 강력한 출력값 검증 체계를 설계해 보기

모듈 4: 고급 LLM 위협 요소 (1.5시간)

주요 내용:

LLM06: 과도한 자율성 문제

  • AI 에이전트가 스스로 결정하는 행위와 경계를 넘는 가능성
  • 에이전트의 권한 관리 및 접근 제어 방식
  • 의도치 않은 시스템 간 상호작용이나 권한 확대 현상
  • 안전장치 설정과 인간 감시 체계 구축 방법

LLM07: 시스템 지시사항 유출 문제

  • 시스템 내부 명령어가 외부에 노출될 가능성
  • 인증 정보나 논리 구조가 프롬프트를 통해 유출되는 현상
  • 시스템 지시사항을 탈취하려는 다양한 공격 전략
  • 외부 설정값과 내부 명령어 보호 방안

실습 과제: 적절한 접근 제어와 모니터링 체계가 포함된 안전한 에이전트 아키텍처 설계 연습

2일차: 고급 위협 요소 및 실제 구현 기법

모듈 5: 신규 AI 위협 요소 (2시간)

학습 목표:

  • 최신 AI 보안 관련 위협들을 파악합니다.
  • 고도화된 탐지 및 예방 기법을 실제에 적용할 수 있습니다.
  • 복잡한 공격에도 견고하게 대응 가능한 AI 시스템 구조를 설계합니다.

주요 내용:

LLM08: 벡터 및 임베딩 취약점 문제

  • RAG 시스템의 보안상 한계와 벡터 데이터베이스 보호 필요성
  • 임베딩 포이즈닝 및 유사도 조작 공격 현황
  • 의미 기반 검색 시 발생 가능한 적대적 예제들의 영향력
  • 벡터 저장소 보호와 이상 징후 탐지 체계 구축 방법

LLM09: 허위 정보 생성 및 모델 신뢰도 문제

  • AI의 환각 현상을 탐지하고 조절하는 기술
  • 편향 확대 및 형평성 유지 방안
  • 사실 확인 기제와 출처 검증 시스템 운영 방식
  • 콘텐츠 유효성 검사 체계 및 인간 감독 절차 도입 방법

LLM10: 무제한 자원 사용 문제

  • 리소스 과다 소비로 인해 서비스 장애가 발생할 가능성
  • 요청 수 제한 설정 및 자원 배분 관리 기법
  • 비용 최적화와 예산 통제 방안
  • 성능 모니터링 및 알람 체계 구축 절차

실습 과제: 벡터 데이터베이스 보호와 환각 방지 기능을 포함한 안전한 RAG 파이프라인 설계 연습

모듈 6: 에이전트형 AI 보안 (2시간)

학습 목표:

  • 자율적으로 동작하는 AI 에이전트들이 직면한 고유한 보안 문제들을 이해합니다.
  • OWASP Agentic AI 위협 분류법을 실제 시스템에 적용해 봅니다.
  • 다중 에이전트 환경에서 보안 통제 체계를 도입할 수 있습니다.

주요 내용:

  • 에이전트형 AI와 자율 시스템의 개념 설명
  • OWASP Agentic AI 위협 분류법: 에이전트 설계, 메모리 관리, 계획 수립, 도구 활용, 배포 방식 등
  • 다중 에이전트 시스템에서 발생 가능한 보안 문제와 상호 연동 리스크
  • 도구 오남용, 메모리 포이즈닝 및 목표 변경 공격 등의 실례
  • 에이전트 간 소통 안전성과 의사결정 과정을 보호하는 방법

실습 과제: 다중 에이전트 고객 서비스 시스템을 대상으로 OWASP Agentic AI 분류법 기반 위협 모델링 연습

모듈 7: OWASP Threat Defense COMPASS 구현 (2시간)

학습 목표:

  • Threat Defense COMPASS를 실무에 적극 활용하는 법을 익힙니다.
  • 조직 내 보안 프로그램과 AI 위협 평가 절차를 통합합니다.
  • 포괄적인 AI 리스크 관리 전략을 설계할 수 있습니다.

주요 내용:

  • Threat Defense COMPASS 방법론의 심층 분석
  • 관찰·방향 설정·판단·조치(OODA) 루프 도입 방식
  • MITRE ATT&CK 및 ATLAS 프레임워크와의 대응 관계 파악
  • AI 위협 저항력 평가용 대시보드 구축 전략
  • 기존 보안 인프라 및 운영 프로세스와의 연계 방안

실습 과제: Microsoft Copilot 배포 환경을 가정하여 COMPASS를 활용한 완전한 위협 평가 절차 수행

모듈 8: 실무 적용 및 모범 사례 (2.5시간)

학습 목표:

  • 기업 환경에서 안전한 AI 아키텍처를 기획할 수 있습니다.
  • AI 시스템용 모니터링 체계와 인시던트 대응 절차를 수립합니다.
  • AI 보안 관련 거버넌스 프레임워크를 개발할 수 있습니다.

주요 내용:

안전한 AI 개발 주기:

  • AI 애플리케이션 개발 시 보안을 고려한 설계 원칙
  • LLM 연동 코드 검토 방법론
  • 테스트 절차 및 취약점 스캐닝 기술 활용법
  • 배포 단계에서의 보안 강화 전략

모니터링 및 탐지 체계:

  • AI 시스템에 특화된 로그 기록 및 모니터링 요건
  • 비정상적인 동작을 식별하는 이상 징후 탐지 방식
  • AI 보안 사고 시 대응 절차 수립 방법
  • 포렌직스 및 조사 기법 활용법

거버넌스 및 컴플라이언스:

  • AI 리스크 관리 프레임워크와 정책 수립 방향
  • GDPR, AI Act 등 관련 규제 준수 요건 이해
  • AI 공급업체에 대한 제3자 리스크 평가 절차
  • AI 개발진 대상 보안 인식 강화 교육 내용

실습 과제: 모니터링, 거버넌스 및 인시던트 대응 절차를 모두 포함한 기업용 AI 챗봇 보안 아키텍처 설계 연습

모듈 9: 도구 및 기술 (1시간)

학습 목표:

  • AI 보안 관련 도구들을 평가하고 활용할 수 있습니다.
  • 현재 시점의 AI 보안 솔루션 시장 동향을 파악합니다.
  • 실무에 적합한 탐지 및 예방 도구를 구축해 봅니다.

주요 내용:

  • AI 보안용 도구 생태계 및 주요 공급업체 현황
  • 오픈소스 도구인 Garak, PyRIT, Giskard의 특성 설명
  • 상용 AI 보안 및 모니터링 솔루션 개요
  • 다양한 도구를 체계적으로 통합할 수 있는 방식
  • 도구 선택 시 고려해야 할 기준과 평가 프레임워크 설명

실습 과제: AI 보안 테스트용 도구 사용법을 익히고 실제 적용 계획 수립 연습

모듈 10: 미래 동향 및 마무리 (1시간)

학습 목표:

  • 신생 위협 요소와 앞으로의 보안 문제들을 전망합니다.
  • 지속적인 학습과 역량 향상 방향을 모색합니다.
  • 조직 내 AI 보안 계획 실행 단계를 구체화합니다.

주요 내용:

  • 딥페이크 기술, 고도화된 프롬프트 주입 공격, 모델 역방향 설계 등 신규 위협들
  • 향후 OWASP GenAI 프로젝트 발전 방향 및 로드맵 설명
  • AI 보안 커뮤니티 형성과 지식 공유 방법론
  • 끊임없는 기술 변화에 대응하는 위협 정보 통합 방향

실습 과제: OWASP GenAI 보안 기법을 조직 내부에 적용하기 위한 90일 실행 계획 수립 연습

요건

  • 웹 애플리케이션 보안 원칙에 대한 기본적인 이해
  • AI/ML 관련 개념에 대한 초기 지식
  • 보안 프레임워크나 위험 평가 방법론에 대한 경험이 있으면 좋습니다.

대상자

  • 사이버보안 전문가
  • AI 개발자
  • 시스템 아키텍트
  • 컴플라이언스 담당자
  • 보안 실무자
 14 시간

참가자 수


참가자별 가격

회원 평가 (1)

예정된 코스

관련 카테고리