연락처 정보

코스 개요

EXO 인프라스트럭처-as-코드 실무

  • 단일 노드, 다중 노드 및 RDMA 클러스터 등 EXO 배포 패턴 소개
  • 구성 관리 도구를 활용해 Xcode, uv, Node.js, Rust와 같은 종속 요소 자동 설치
  • Nix flakes을 이용한 재현 가능한 EXO 빌드 및 개발 환경 구축
  • 무인 클러스터 프로비저닝을 위한 Ansible 플레이북 혹은 셸 스크립트 작성 방법

재현 가능한 빌드 및 CI 통합 기법

  • 종속 요소 고정 처리와 CI 파이프라인 내 대시보드 빌드 구현
  • GitHub Actions 또는 GitLab CI 러너 환경에서 EXO 스모크 테스트 수행
  • macOS 및 Linux 가상머신용 골든 이미지 생성과 스냅샷 기반 롤백 워크플로우 설계
  • 애플리케이션 코드와 함께 사용자 정의 모델 카드 버전 관리

클러스터 탐색 및 네트워크 자동화 방법

  • libp2p 노드 간 통신을 원활하게 하기 위한 mDNS 및 정적 DNS 설정
  • macOS 환경에서 네트워크 프로파일 생성 및 Thunderbolt 브리지 자동화 관리
  • 개발, 테스트 및 운영용 클러스터를 구분하기 위해 사용자 지정 네임스페이스(EXO_LIBP2P_NAMESPACE) 활용
  • 다중 고객 환경을 위한 방화벽 규칙 및 네트워크 세그먼테이션 적용

저장소 관리와 모델 라이프사이클 운영 전략

  • EXO_MODELS_DIRS 및 EXO_MODELS_READ_ONLY_DIRS 설정에 따른 최적화 방안
  • NFS나 SAN 공유 저장소를 읽기 전용 모델 리포지토리로 활용해 신속한 프로비저닝 구현
  • 오래된 캐시 데이터 제거와 각 버전별 가중치 유지 정책 결정
  • 롤링 업데이트 시점에 맞춰 모델 자동 사전 다운로드 및 상태 확인 절차 확립

모니터링 체계와 경고 알림 시스템 구축

  • EXO 로그 데이터를 ELK, Loki 혹은 Splunk 같은 중앙집중형 시스템으로 전송하는 방법
  • EXO_TRACING_ENABLED 출력값을 이용해 Grafana 대시보드 설계하기
  • 클러스터 노드 변화, 메모리 부족 현상 및 추론 지연 시간 급증 상황에 대한 경고 설정
  • macmon 하드웨어 데이터와 모델 성능 저하 간의 상관관계 분석법

업데이트 관리, 롤백 절차 및 재해 복구 계획

  • 전체 클러스터 적용 전에 카나리아 노드를 통해 EXO 바이너리 업데이트 시험
  • 양자화 처리된 여러 버전 모델 간 신속히 전환하는 방법: 재다운로드 필요 없이 롤백 가능
  • 클러스터 상태 정보, 사용자 지정 네임스페이스와 캐시 가중치 데이터 백업 및 복구 절차
  • 완전한 클러스터 재구성 상황에도 대응할 수 있도록 복구 매뉴얼 작성

보안 강화와 규정 준수 전략 적용

  • 대시보드 및 API 접속 경로에 TLS 암호화 기법을 nginx나 traefik 리버스 프록시 레이어에서 적용
  • EXO 엔드포인트 보호를 위해 API 요청 제한과 IP 화이트리스트 설정
  • VLAN 및 제로 트러스트 기반 네트워크 정책으로 클러스터 격리 처리
  • 배포된 모델 리스트와 각 버전 정보 추적하여 접근 이력 감사 체계 확립

요건

  • DevOps 실무 경험(지속적 통합/배포, 인프라스트럭처-as-코드, 컨테이너 오케스트레이션 등)
  • macOS 또는 Linux 시스템 관리 및 패키지 관리에 대한 기초 지식
  • 네트워크, DNS 및 저장소 관련 개념에 대한 이해

대상 수강생

  • DevOps 엔지니어
  • 인프라 아키텍트
  • 온프레미스 환경에서 AI 워크로드를 관리하는 SRE 담당자들
 21 시간

참가자 수


참가자별 가격

회원 평가 (2)

예정된 코스

관련 카테고리