문의를 보내주셔서 감사합니다! 팀원이 곧 연락드리겠습니다.
예약을 보내주셔서 감사합니다! 저희 팀 멤버 중 한 분이 곧 연락드리겠습니다.
코스 개요
EXO 인프라스트럭처-as-코드 실무
- 단일 노드, 다중 노드 및 RDMA 클러스터 등 EXO 배포 패턴 소개
- 구성 관리 도구를 활용해 Xcode, uv, Node.js, Rust와 같은 종속 요소 자동 설치
- Nix flakes을 이용한 재현 가능한 EXO 빌드 및 개발 환경 구축
- 무인 클러스터 프로비저닝을 위한 Ansible 플레이북 혹은 셸 스크립트 작성 방법
재현 가능한 빌드 및 CI 통합 기법
- 종속 요소 고정 처리와 CI 파이프라인 내 대시보드 빌드 구현
- GitHub Actions 또는 GitLab CI 러너 환경에서 EXO 스모크 테스트 수행
- macOS 및 Linux 가상머신용 골든 이미지 생성과 스냅샷 기반 롤백 워크플로우 설계
- 애플리케이션 코드와 함께 사용자 정의 모델 카드 버전 관리
클러스터 탐색 및 네트워크 자동화 방법
- libp2p 노드 간 통신을 원활하게 하기 위한 mDNS 및 정적 DNS 설정
- macOS 환경에서 네트워크 프로파일 생성 및 Thunderbolt 브리지 자동화 관리
- 개발, 테스트 및 운영용 클러스터를 구분하기 위해 사용자 지정 네임스페이스(EXO_LIBP2P_NAMESPACE) 활용
- 다중 고객 환경을 위한 방화벽 규칙 및 네트워크 세그먼테이션 적용
저장소 관리와 모델 라이프사이클 운영 전략
- EXO_MODELS_DIRS 및 EXO_MODELS_READ_ONLY_DIRS 설정에 따른 최적화 방안
- NFS나 SAN 공유 저장소를 읽기 전용 모델 리포지토리로 활용해 신속한 프로비저닝 구현
- 오래된 캐시 데이터 제거와 각 버전별 가중치 유지 정책 결정
- 롤링 업데이트 시점에 맞춰 모델 자동 사전 다운로드 및 상태 확인 절차 확립
모니터링 체계와 경고 알림 시스템 구축
- EXO 로그 데이터를 ELK, Loki 혹은 Splunk 같은 중앙집중형 시스템으로 전송하는 방법
- EXO_TRACING_ENABLED 출력값을 이용해 Grafana 대시보드 설계하기
- 클러스터 노드 변화, 메모리 부족 현상 및 추론 지연 시간 급증 상황에 대한 경고 설정
- macmon 하드웨어 데이터와 모델 성능 저하 간의 상관관계 분석법
업데이트 관리, 롤백 절차 및 재해 복구 계획
- 전체 클러스터 적용 전에 카나리아 노드를 통해 EXO 바이너리 업데이트 시험
- 양자화 처리된 여러 버전 모델 간 신속히 전환하는 방법: 재다운로드 필요 없이 롤백 가능
- 클러스터 상태 정보, 사용자 지정 네임스페이스와 캐시 가중치 데이터 백업 및 복구 절차
- 완전한 클러스터 재구성 상황에도 대응할 수 있도록 복구 매뉴얼 작성
보안 강화와 규정 준수 전략 적용
- 대시보드 및 API 접속 경로에 TLS 암호화 기법을 nginx나 traefik 리버스 프록시 레이어에서 적용
- EXO 엔드포인트 보호를 위해 API 요청 제한과 IP 화이트리스트 설정
- VLAN 및 제로 트러스트 기반 네트워크 정책으로 클러스터 격리 처리
- 배포된 모델 리스트와 각 버전 정보 추적하여 접근 이력 감사 체계 확립
요건
- DevOps 실무 경험(지속적 통합/배포, 인프라스트럭처-as-코드, 컨테이너 오케스트레이션 등)
- macOS 또는 Linux 시스템 관리 및 패키지 관리에 대한 기초 지식
- 네트워크, DNS 및 저장소 관련 개념에 대한 이해
대상 수강생
- DevOps 엔지니어
- 인프라 아키텍트
- 온프레미스 환경에서 AI 워크로드를 관리하는 SRE 담당자들
21 시간
회원 평가 (2)
크레이그는 훈련에 매우 적극적으로 참여하여 항상 우리가 주의를 기울이는지 확인하고, 예제를 우리의 일상 활동에 맞게 조정하며, 프레젠테이션에 포함되지 않은 정보더라도 질문할 때마다 답변을 제공했습니다.
Ecaterina Ioana Nicoale - BOOKING HOLDINGS ROMANIA SRL
코스 - DevOps Foundation®
기계 번역됨
트레이너의 높은 참여도와 지식 수준
Jacek - Softsystem
코스 - DevOps Engineering Foundation (DOEF)®
기계 번역됨