연락처 정보

코스 개요

EXO 인프라스트럭처 어즈-코드(Infrastrucure-as-Code)

  • EXO 배포 패턴 개요: 단일 노드, 다중 노드 및 RDMA 클러스터
  • 구성 관리를 통한 의존성 설치 자동화(Xcode, uv, Node.js, Rust)
  • 재현 가능한 EXO 빌드 및 개발자 환경을 위한 Nix 플레이크(Nix flakes) 사용
  • 무인 클러스터 프로비저닝을 위한 Ansible Playbook 또는 셸 스크립트 작성

재현 가능한 빌드 및 CI 통합

  • 의존성 고정 및 CI 파이프라인에서 대시보드 빌딩
  • GitHub Actions 또는 GitLab CI 러너에서 EXO 스모크 테스트 실행
  • macOS 및 Linux VM을 위한 골든 이미지(Golden Images) 및 스냅샷 기반 롤백 워크플로우 생성
  • 애플리케이션 코드와 함께 사용자 정의 모델 카드(Model cards) 버전 관리

클러스터 발견 및 네트워크 자동화

  • 신뢰할 수 있는 libp2p 노드 발견을 위한 mDNS 및 정적 DNS 구성
  • macOS에서 네트워크 프로필 생성 및 Thunderbolt 브릿지 관리 자동화
  • 맞춤 네임스페이스(EXO_LIBP2P_NAMESPACE)를 사용하여 개발, 스테이징 및 프로덕션 클러스터 분리
  • 다중 테넌트 환경을 위한 방화벽 규칙 및 네트워크 세분화

스토리지 및 모델 라이프사이클 관리

  • EXO_MODELS_DIRS 및 EXO_MODELS_READ_ONLY_DIRS 전략 설계
  • 빠른 프로비저닝을 위한 NFS 또는 SAN 공유 마운트를 읽기 전용 모델 저장소로 사용
  • 오래된 캐시의 가비지 컬렉션(Garbage Collection) 및 버전 관리된 가중치 유지 정책
  • 롤링 업데이트 전에 모델 사전 다운로드 및 건강 상태 확인 자동화

모니터링 및 알림

  • 중앙 집중형 로깅(ELK, Loki 또는 Splunk)으로 EXO 로그 전송
  • EXO_TRACING_ENABLED 출력을 기반으로 Grafana 대시보드 구축
  • 클러스터 멤버십 변경, OOM(Out-of-Memory) 이벤트 및 추론 지연 시간 급증에 대한 알림 설정
  • macmon 하드웨어 텔레메트리를 모델 성능 저하와 상관관계 분석

업데이트, 롤백 및 재해 복구

  • 플릿 전체 배포 전 카나리 노드에서 EXO 바이너리 업데이트 검토
  • 모델 수준 롤백: 다시 다운로드하지 않고 양자화된 버전 간 전환
  • 클러스터 상태, 사용자 정의 네임스페이스 및 캐시된 가중치 백업 및 복원
  • 전체 클러스터 재구축 시나리오를 위한 복구 실행서(Runbooks) 문서화

보안 강화 및 규정 준수

  • 대시보드 및 API를 위한 리버스 프록시 레이어(nginx, traefik)에서 TLS 적용
  • EXO 엔드포인트에 대한 API Rate Limiting 및 IP 화이트리스트 구현
  • VLAN 및 제로 트러스트 네트워크 정책으로 클러스터 격리
  • 액세스 감사 및 배포된 모델 및 버전의 인벤토리 유지

요건

  • DevOps 관행(CI/CD, IaC, 컨테이너 오케스트레이션)에 대한 경험
  • macOS 또는 Linux 시스템 관리 및 패키지 관리에 대한 친숙함
  • 네트워크, DNS 및 스토리지 개념에 대한 이해

대상자

  • DevOps 엔지니어
  • 인프라스트럭처 아키텍트
  • 온프레미스 AI 워크로드를 담당하는 SRE(서비스 신뢰성 엔지니어)
 21 시간

참가자 수


참가자별 가격

회원 평가 (2)

예정된 코스

관련 카테고리