문의를 보내주셔서 감사합니다! 팀원이 곧 연락드리겠습니다.
예약을 보내주셔서 감사합니다! 저희 팀 멤버 중 한 분이 곧 연락드리겠습니다.
코스 개요
AI 위협 환경 개요
- 왜 AI 보안이 특별한가: 비결정성, 불투명한 추론 과정, 프롬프트의 공격 표면적 역할
- 공격 유형 분류: 학습 단계·추론 단계·공급망을 통한 공격 구분
- 머신러닝 해커 모델: 누가, 왜 AI 시스템을 공격하는가?
LLM 애플리케이션에 대한 OWASP Top 10
- 프롬프트 주입: 직접적 및 간접적 공격 경로 설명
- 출력값 처리 불안전성 및 크로스-플러그인 요청 위조 현상
- 학습 데이터 오염 문제와 공급망 취약점 내용
- 모델 서비스 거부 현상, 기밀 정보 유출 가능성 및 과도한 권한 승인 리스크
- 실습: 실험용 애플리케이션을 대상으로 OWASP 각 카테고리를 활용해 공격 방법 적용 연습
프롬프트 주입 및 제일브레이크 레드팀링 전략
- 주입 기법 분류: 직접형·간접형·다중 턴 연속형·멀티모달 공격 방식 설명
- Giskard, Garak 및 맞춤형 퍼징 도구를 활용한 자동화 레드팀 기법 적용
- 제일브레이크 유형 분류 및 관련 방어 성능 평가 방법 제시
- 지속적인 LLM 보안 테스트 실행을 위한 레드팀 환경 구축 과정 안내
모델 단위 공격 유형과 그 방어 전략
- 모델 추출 기법: API 질의를 통해 모델 가중치와 기능 정보 탈취 방법 설명
- 멤버십 추론 공격: 특정 데이터가 훈련 세트에 포함되었는지 판별하는 기술 안내
- 적대적 예시 생성법: 분류기와 임베딩 출력값을 오도하게 만드는 변형값 제작 과정
- 데이터 오염 전략: 훈련 데이터를 악의적으로 조작해 백도어 발생 또는 성능 저하 유발 방법
입력값·출력값 보안 통제 기법
- 전통적인 웹 보안 장치 이상으로 강화된 입력값 정리 절차 적용법
- 독성 콘텐츠 필터링, 개인정보 노출 방지 및 환각적 코드 실행 차단 등 출력값 검증 과제 안내
- NeMo와 Guardrails AI 그리고 맞춤형 정책 규칙이 보안 인프라로 기능하는 방식 설명
- 데이터 구조적 제약을 이용한 안전성 확보 방법론 소개
AI 공급망 보안 관리법
- 모델 기원 추적: 모델 정체성과 무결성을 검증하는 프로세스 제시
- 머신러닝 프레임워크와 다양한 포맷형 모델 종속 요소에 대한 보안 스캔 기법 설명
- 안전한 모델 서비스 운영 방식: 샌드박스 활용, 네트워크 격리 및 최소 권한 원칙 시행 가이드라인 안내
- 커뮤니티나 미세 조정된 모델에 악성 코드가 침투하지 않았는지 점검 방법 설명
머신러닝 시스템 운영 보안 절차
- 모델 엔드포인트와 벡터 스토어, 에이전트 도구들에 대한 접근 통제 방안 제시
- 모든 모델 연산 과정과 의사결정 이력을 기록하는 감사 로깅 규칙 명시
- 모델 자체가 공격당했을 경우 대응법이 포함된 AI 특화 침해 사고 처리 매뉴얼 소개
- 머신러닝 파이프라인 내에서 CI/CD 시스템을 활용한 지속적 보안 검증 절차 설명
조직 기반 AI 보안 체계 구축법
- AI 보안 성숙도 모델과 단계별 전개 계획서 작성 방법
- 기존 애플리케이션·클라우드 보안 프레임워크와 AI 보안 규범의 통합 절차 설명
- AI 시스템 운영에 관한 관리 기준과 새로이 생겨나는 법규 규정 사항 안내
- 기업 전반적으로 적용 가능한 맞춤형 AI 보안 운영 가이드라인 구축법 제시
요건
- 실제 운영 환경에 머신러닝 모델이나 LLM 애플리케이션을 배포해본 경험이 있어야 함
- 인증, 인가, 위협 모델링 등 보안 개념에 대한 이해도 필수
- 적대적 테스트 연습을 위해 파이썬 활용 능력 필요
참석 대상자
- AI 및 머신러닝 위협 영역으로 업무 범위를 확장하려는 보안 엔지니어
- 모델의 안전성과 안정성을 책임지는 ML 엔지니어
- 테스트 대상에 AI 시스템을 추가하고자 하는 레드팀 멤버들
14 시간
