AI 시스템 레드 팀: ML 모델을 위한 공격적 보안 교육 과정
AI 시스템 레드 팀은 머신러닝 모델과 배포 파이프라인의 약점을 식별하기 위해 적대적인 테스트와 스트레스 시뮬레이션을 수행하는 공격적 보안의 전문 분야입니다.
이 강사 주도형 실시간 교육(온라인 또는 오프라인)은 AI 시스템에 대한 공격을 시뮬레이션하고 취약점을 발견하며 배포된 AI 모델의 견고성을 향상시키고자 하는 고급 보안 전문가와 ML 전문가를 대상으로 합니다.
이 교육이 끝나면 참가자들은 다음과 같은 능력을 갖추게 됩니다:
- 머신러닝 모델에 대한 실제 위협을 시뮬레이션합니다.
- 모델의 견고성을 테스트하기 위해 적대적 예제를 생성합니다.
- AI API와 파이프라인의 공격 표면을 평가합니다.
- AI 배포 환경을 위한 레드 팀 전략을 설계합니다.
강의 형식
- 대화형 강의와 토론.
- 많은 연습과 실습.
- 실시간 실험 환경에서 직접 구현.
강의 맞춤화 옵션
- 이 강의에 대한 맞춤형 교육을 요청하려면 연락주세요.
코스 개요
AI 레드 팀 입문
- AI 위협 환경 이해
- AI 보안에서의 레드 팀 역할
- 윤리적 및 법적 고려 사항
적대적 머신러닝
- 공격 유형: 회피, 중독, 추출, 추론
- 적대적 예제 생성(e.g., FGSM, PGD)
- 타깃 공격과 비타깃 공격 및 성공 지표
모델 견고성 테스트
- 변동성 하의 견고성 평가
- 모델 사각지대와 실패 모드 탐색
- 분류, 비전, NLP 모델 스트레스 테스트
AI 파이프라인 레드 팀
- AI 파이프라인의 공격 표면: 데이터, 모델, 배포
- 보안이 취약한 모델 API 및 엔드포인트 활용
- 모델 동작과 출력의 역공학
시뮬레이션과 도구
- Adversarial Robustness Toolbox(ART) 사용
- TextAttack 및 IBM ART와 같은 도구로 레드 팀 활동
- 샌드박싱, 모니터링, 관찰성 도구
AI 레드 팀 전략과 방어 협업
- 레드 팀 연습 및 목표 개발
- 결과를 블루 팀에 통신
- AI 리스크 관리에 레드 팀을 통합
요약 및 다음 단계
요건
- 머신러닝과 딥러닝 아키텍처에 대한 이해
- Python 및 ML 프레임워크(e.g., TensorFlow, PyTorch) 사용 경력
- 사이버 보안 개념이나 공격적 보안 기술에 대한 이해
대상
- 보안 연구원
- 공격적 보안 팀
- AI 확보 및 레드 팀 전문가
오픈 트레이닝 코스는 5명 이상의 참가자가 필요합니다.
AI 시스템 레드 팀: ML 모델을 위한 공격적 보안 교육 과정 - 예약
AI 시스템 레드 팀: ML 모델을 위한 공격적 보안 교육 과정 - 문의
AI 시스템 레드 팀: ML 모델을 위한 공격적 보안 - 컨설팅 문의
컨설팅 문의
예정된 코스
관련 코스
ISACA Advanced in AI Security Management (AAISM)
21 시간AAISM은 인공지능 시스템의 보안 위험을 평가, 관리, 지배하는 고급 프레임워크입니다.
이 강사 주도형 실시간 교육(온라인 또는 현장)은 기업 AI 환경에서 효과적인 보안 제어 및 지배 구조를 구현하고자 하는 고급 수준의 전문가들을 대상으로 합니다.
이 프로그램을 통해 참가자들은 다음과 같은 준비를 할 수 있습니다:
- 업계에서 인정받는 방법론을 사용하여 AI 보안 위험을 평가합니다.
- 책임감 있는 AI 배포를 위한 지배 모델을 구현합니다.
- 조직의 목표와 규제 요구 사항에 맞추어 AI 보안 정책을 일치시킵니다.
- AI 기반 운영에서 회복력과 책임감을 강화합니다.
강의 형식
- 전문가 분석으로 지원되는 진행된 강연.
- 실용적인 워크숍과 평가 기반 활동.
- 실제 AI 지배 사례를 활용한 적용 연습.
강의 맞춤화 옵션
- 조직의 AI 전략에 맞춘 맞춤형 교육을 원하시면 연락하여 강의를 맞춤 설정할 수 있습니다.
AI 거버넌스, 컴플라이언스 및 보안: 엔터프라이즈 리더들을 위한 과정
14 시간이 강사 주도의 실시간 교육(대한민국, 온라인 또는 현장)은 중급 수준의 엔터프라이즈 리더들을 대상으로 합니다. 이들은 AI 시스템을 책임감 있게 관리하고, EU AI Act, GDPR, ISO/IEC 42001, 미국 AI 행정명령 등과 같은 새로운 글로벌 프레임워크에 준수하는 방법을 이해하길 원합니다.
이 교육이 끝나면 참가자들은 다음과 같은 능력을 갖추게 됩니다:
- 부서 간 AI 사용의 법적, 윤리적, 규제 위험을 이해합니다.
- 주요 AI 거버넌스 프레임워크(EU AI Act, NIST AI RMF, ISO/IEC 42001)를 해석하고 적용할 수 있습니다.
- 엔터프라이즈 내 AI 배포를 위한 보안, 감사, 감독 정책을 수립할 수 있습니다.
- 외부 및 내부 AI 시스템의 조달 및 사용 지침을 개발할 수 있습니다.
공공 부문에서의 인공지능 리스크 관리 및 보안
7 시간인공지능(AI)은 정부 기관과 부서에 새로운 운영 위험, 거버넌스 도전 과제, 그리고 사이버보안 노출을 초래합니다.
이 강사 주도의 실시간 훈련(온라인 또는 현장)은 AI에 대한 제한된 사전 경험이 있는 공공 부문 IT 및 리스크 전문가를 대상으로 하며, 정부 또는 규제 환경에서 AI 시스템을 평가, 모니터링, 그리고 보안하는 방법을 이해하고자 하는 사람들을 위한 것입니다.
이 훈련이 끝나면 참가자들은 다음과 같은 능력을 갖추게 됩니다:
- AI 시스템과 관련된 주요 리스크 개념, 즉 편향성, 예측 불가능성, 및 모델 이동 등을 해석할 수 있습니다.
- NIST AI RMF 및 ISO/IEC 42001과 같은 AI 전용 거버넌스 및 감사 프레임워크를 적용할 수 있습니다.
- AI 모델과 데이터 파이프라인을 대상으로 하는 사이버보안 위협을 인식할 수 있습니다.
- 부서 간 리스크 관리 계획 및 AI 배포를 위한 정책 조정을 설정할 수 있습니다.
강의 형식
- 공공 부문 사례를 활용한 상호작용형 강연 및 토론.
- AI 거버넌스 프레임워크 연습 및 정책 매핑.
- 시나리오 기반 위협 모델링 및 리스크 평가.
강의 맞춤 옵션
- 이 강의를 위한 맞춤형 훈련을 요청하려면 문의하시기 바랍니다.
인공지능 신뢰, 위험 및 관리 (AI TRiSM) 소개
21 시간이 강사는 온라인 또는 현장에서 초급에서 중급 수준의 IT 전문가를 대상으로 AI TRiSM을 이해하고 조직 내에서 구현하는 것을 목표로 합니다.
이 교육을 통해 참가자는 다음과 같은 능력을 갖출 것입니다.
- AI 신뢰, 위험, 보안 관리의 주요 개념과 중요성을 이해합니다.
- AI 시스템과 관련된 위험을 식별하고 완화합니다.
- AI에 대한 보안 모범 사례를 구현합니다.
- AI에 대한 규제 준수와 윤리적 고려 사항을 이해합니다.
- 효과적인 AI 통치와 관리를 위한 전략을 개발합니다.
Building Secure and Responsible LLM Applications
14 시간이 강사는 온라인 또는 현장에서 직접 지도하는 라이브 교육과정으로, 중간 수준에서 고급 수준의 AI 개발자, 아키텍트, 제품 관리자가 LLM 기반 애플리케이션과 관련된 위험, 예를 들어 프롬프트 주입, 데이터 유출, 필터링되지 않은 출력을 식별하고 완화할 수 있도록 설계되었습니다. 입력 유효성 검사, 인간 개입, 출력 보호 대책을 포함하여 보안 대책을 통합합니다.
이 교육을 마치면 참가자는 다음을 할 수 있게 됩니다:
- LLM 기반 시스템의 핵심 취약점을 이해합니다.
- LLM 앱 아키텍처에 안전한 디자인 원칙을 적용합니다.
- Guardrails AI와 LangChain와 같은 도구를 검증, 필터링, 안전성 유지에 사용합니다.
- 샌드박싱, 레드 팀링, 인간 개입 검토와 같은 기법을 생산 수준 파이프라인에 통합합니다.
AI 시스템의 사이버 보안
14 시간이 온라인 또는 현장 강사 주도의 실시간 교육은 금융, 데이터 관리, 컨설팅 등 고규제 산업에서 AI 모델과 시스템의 보안 취약점을 이해하고 해결하려는 중간 수준의 AI 및 사이버 보안 전문가를 대상으로 합니다.
이 교육을 마친 후, 참가자는 다음을 할 수 있게 됩니다.
- AI 시스템을 대상으로 하는 적대적 공격 유형과 이를 방어하기 위한 방법에 대해 이해할 수 있습니다.
- 머신러닝 파이프라인을 보안하기 위해 모델 강화 기술을 구현할 수 있습니다.
- 머신러닝 모델의 데이터 보안과 무결성을 보장할 수 있습니다.
- AI 보안과 관련된 규제 준수 요구 사항을 탐색할 수 있습니다.
AI 보안 및 위험 관리 입문
14 시간이 강사 주도의 실시간 교육은 대한민국(온라인 또는 현장)에서 초급 IT 보안, 위험, 규정 준수 전문가를 대상으로 하며, AI 보안 기초 개념, 위협 벡터, 그리고 NIST AI RMF와 ISO/IEC 42001과 같은 글로벌 프레임워크에 대해 이해하고자 하는 사람들을 위한 것입니다.
이 교육이 끝나면 참가자는 다음과 같은 능력을 갖추게 될 것입니다:
- AI 시스템에 의해 도입되는 독특한 보안 위험을 이해합니다.
- 적대적 공격, 데이터 중독, 모델 역전 등과 같은 위협 벡터를 식별할 수 있습니다.
- NIST AI Risk Management Framework와 같은 기초적인 거버넌스 모델을 적용할 수 있습니다.
- AI 사용을 신규 표준, 규정 준수 가이드라인, 그리고 윤리적 원칙과 일치시킬 수 있습니다.
OWASP GenAI 보안
14 시간최신 OWASP GenAI 보안 프로젝트 지침에 근거하여 참가자는 AI 특화 위협을 식별, 평가, 완화하는 데 필요한 실습 및 실제 시나리오를 통해 학습하게 됩니다.
프라이버시 보호 기계 학습
14 시간이 강사 주도형 실시간 교육(온라인 또는 대면)은 고급 전문가들을 대상으로 하며, 실제 머신 러닝 파이프라인에서 연방 학습(federated learning), 안전한 다중 당사자 계산(secure multiparty computation), 동형 암호화(homomorphic encryption), 차별적 프라이버시(differential privacy) 등의 기술을 구현하고 평가하는 방법을 배우는 데 중점을 두고 있습니다.
이 교육이 끝나면 참가자들은 다음과 같은 능력을 갖추게 됩니다:
- ML에서 주요 프라이버시 보호 기술을 이해하고 비교할 수 있습니다.
- 오픈 소스 프레임워크를 사용하여 연방 학습 시스템을 구현할 수 있습니다.
- 안전한 데이터 공유와 모델 훈련을 위해 차별적 프라이버시를 적용할 수 있습니다.
- 암호화 및 안전한 계산 기술을 사용하여 모델의 입력과 출력을 보호할 수 있습니다.
Edge AI 및 임베디드 인텔리전스 보안
14 시간이 강사는 온라인 또는 오프라인에서 진행하는 라이브 교육으로, 중간 수준의 엔지니어와 보안 전문가들을 대상으로 합니다. 이들은 에지에서 배포된 AI 모델을 변조, 데이터 유출, 적대적 입력 및 물리적 공격과 같은 위협으로부터 보호하기를 원합니다.
이 교육을 마치면 참가자들은 다음과 같은 능력을 갖게 될 것입니다:
- 에지 AI 배포에서 보안 위험을 식별하고 평가합니다.
- 변조 방지 및 암호화 추론 기술을 적용합니다.
- 에지에서 배포된 모델과 데이터 파이프라인을 강화합니다.
- 임베디드 및 제약 시스템에 특화된 위협 완화 전략을 구현합니다.
AI 모델 보안화: 위협, 공격 및 방어
14 시간이 강사 주도 실시간 훈련(온라인 또는 현장)은 중급 수준의 머신 러닝 및 사이버 보안 전문가를 대상으로 합니다. 이 과정에서는 개념적 프레임워크와 강건한 학습, 차별적 사생활 보호 등의 실용적인 방어 방법을 사용하여 AI 모델에 대한 새로운 위협을 이해하고 완화하는 데 도움이 됩니다.
이 훈련이 끝나면 참가자들은 다음과 같은 능력을 갖추게 됩니다:
- 적대적 공격, 반전, 중독 등 AI 특유의 위협을 식별하고 분류합니다.
- Adversarial Robustness Toolbox (ART) 등의 도구를 사용하여 공격 시뮬레이션과 모델 테스트를 수행합니다.
- 적대적 학습, 노이즈 주입, 사생활 보호 기술 등 실용적인 방어 방법을 적용합니다.
- 프로덕션 환경에서 위협 인식 모델 평가 전략을 설계합니다.
TinyML 애플리케이션의 보안과 프라이버시
21 시간TinyML은 저전력, 자원 제한 장치에서 머신러닝 모델을 배포하는 방법입니다. 이러한 장치들은 네트워크 에지에서 작동합니다.
이 강사 주도의 실시간 교육(온라인 또는 현장)은 고급 전문가들을 대상으로 하며, TinyML 파이프라인을 보호하고 에지 AI 애플리케이션에서 프라이버시를 보존하는 기술을 구현하는 방법을 배우게 됩니다.
이 과정을 마친 후, 참가자들은 다음과 같은 능력을 갖추게 됩니다:
- 장치 내 TinyML 추론에 특유한 보안 위험을 식별합니다.
- 에지 AI 배포에서 프라이버시를 보호하는 메커니즘을 구현합니다.
- TinyML 모델과 임베디드 시스템을 적대적 위협으로부터 강화합니다.
- 제약 조건이 있는 환경에서 안전한 데이터 처리를 위한 최선의 방법을 적용합니다.
강의 형식
- 전문가 주도 토론으로 지원되는 참여형 강의.
- 실제 위협 시나리오에 중점을 둔 실용적인 연습.
- 임베디드 보안 및 TinyML 도구를 활용한 실무 구현.
강의 맞춤화 옵션
- 조직은 이 교육을 자신들의 특정 보안 및 준수 요구사항에 맞게 맞춤화할 수 있습니다.
안전하고 안정적인 에이전트 AI: 거버넌스, 신원 관리, 적대적 테스트
21 시간이 강좌는 에이전트 기반 AI 시스템의 거버넌스, 신원 관리 및 적대적 테스트에 대해 다루며, 기업 환경에서 안전한 배포 패턴과 실제적인 적대적 테스트 기법에 중점을 둡니다.
이 강사 주도형 실시간 교육(온라인 또는 현장)은 생산 환경에서 에이전트 기반 AI 시스템을 설계, 보호 및 평가하길 원하는 고급 사용자를 대상으로 합니다.
이 교육이 끝나면 참가자는 다음과 같은 능력을 갖추게 됩니다:
- 안전한 에이전트 AI 배포를 위한 거버넌스 모델과 정책을 정의합니다.
- 최소 권한 접근을 위해 에이전트용 비인간 신원 및 인증 흐름을 설계합니다.
- 자율형 에이전트에 맞춘 액세스 제어, 감사 추적, 관찰성을 구현합니다.
- 오남용, 권한 상승 경로, 데이터 유출 위험을 발견하기 위해 적대적 테스트를 계획하고 실행합니다.
- 정책, 엔지니어링 제어 및 모니터링을 통해 에이전트 시스템의 일반적인 위협을 완화합니다.
강좌 형식
- 상호작용형 강의 및 위험 모델링 워크숍.
- 실습: 신원 프로비저닝, 정책 시행, 적대자 시뮬레이션.
- 적군/청군 훈련 및 강좌 종료 평가.
강좌 맞춤 옵션
- 이 강좌의 맞춤형 훈련을 요청하려면 문의해 주세요.