문의를 보내주셔서 감사합니다! 팀원이 곧 연락드리겠습니다.
예약을 보내주셔서 감사합니다! 저희 팀 멤버 중 한 분이 곧 연락드리겠습니다.
코스 개요
오프라인 EXO 배포
- 런타임 인터넷 액세스를 방지하기 위해 EXO_OFFLINE 사용
- 신뢰할 수 있는 내부 미러에서 EXO_MODELS_READ_ONLY_DIRS로 모델을 사전 로드
- SHA-256 체크섬 및 서명된 모델 카드를 사용하여 모델 가중치 무결성 확인
- HuggingFace 의존성 없이 에어갭(air-gapped) 네트워크에서 EXO 실행
대시보드 및 API 접근 제어
- TLS 종료를 포함하여 nginx, Caddy와 같은 리버스 프록시 설치 및 구성
- EXO 대시보드 및 REST API를 위한 역할 기반 접근 제어(RBAC) 구현
- API 인증을 위한 시크릿 저장에 macOS 키체인 또는 Linux pass 사용
- 관리용 엔드포인트를 특정 소스 IP 범위에게만 제한
클러스터 격리 및 네트워크 보안
- EXO_LIBP2P_NAMESPACE 및 VLAN을 사용하여 EXO 클러스터 분할
- EXO 포트에 대한 호스트 방화벽(macOS 애플리케이션 방화벽, iptables, nftables) 구성
- 승인되지 않은 장치 발견 및 이상 노드 인젝션 방지
- RDMA가 사용되지 않을 때 노드 간 libp2p 트래픽 암호화
모델 거버넌스 및 원산지 추적
- 승인된 모델 목록 및 메타데이터가 포함된 내부 모델 레지스트리 구축
- 양자화된 가중치(4비트, 8비트)를 소스 체크포인트와 함께 태그 및 버전 관리
- 특정 HuggingFace 리포지토리 또는 내부 아티팩트만 로드되도록 강제
- 모델 계보, 라이선스 조건 및 허용 사용 정책을 문서화
감사 로깅 및 준수
- 불변 감사 추적(SIEM, WORM 저장소)으로 EXO 로그 전달 구성
- API 호출 로그를 사용자 ID 및 타임스탬프와 상관관계 분석
- 모델 인스턴스 생성, 삭제 및 추론 요청 이벤트 포착
- 내부 및 외부 감사인을 위한 정기 준수 보고서 생성
위험 모델링 및 사고 대응
- 위험 식별: 모델 출력 통한 데이터 유출, 프롬프트 인젝션, 사이드 채널 누출
- 프롬프트 모니터링 및 콘텐츠 필터링 파이프라인 구현
- 클러스터 침착 시나리오에 대한 사고 대응 실행지침(runbook) 작성
- 영향을 받은 노드 격리, 포렌식 로그 보존 및 클린 환경 재구축
물리적 보안 및 하드웨어 경계
- 승인되지 않은 RDMA 케이블 연결로부터 볼트 포트 보안
- 적용 가능한 경우 보안 은밀부(security enclave) 및 Apple Silicon 하드웨어 증명 사용
- 클러스터화된 Mac 및 공유 저장소에 대한 물리적 접근 제어
- 하드웨어 수명 주기 및 폐기 절차를 문서화
규제 고려 사항
- EXO 배포를 GDPR, HIPAA, SOC 2 요구사항에 매핑
- 온프레미스에서 추론을 유지하여 데이터 거주지 규정 준수
- 벤더 공급망 위험 문서화(MLX, EXO, 모델 가중치)
- EU AI Act 제53조와 같은 AI 거버넌스 프레임워크 준비
요건
- EXO 또는 다른 로컬 LLM 런타임에 대한 경험
- Unix 파일 시스템 권한 및 네트워크 ACL 이해
- TLS/SSL 인증서 관리 및 암호화 기본 개념 숙지
대상 독자
- 보안 엔지니어
- 준수 담당자
- 민감한 데이터를 처리하는 AI 인프라 관리자
14 시간
회원 평가 (1)
트레이너는 FortiGate에 대해 훌륭한 지식을 가지고 있으며, 내용을 매우 잘 전달했습니다. 소루시에게 많은 감사의 인사를 드립니다.
Colin Donohue - Technological University of the Shannon: Midlands Midwest
코스 - FortiGate 7.4 Administration
기계 번역됨
