연락처 정보

코스 개요

EXO 및 로컬 AI 클러스터링 소개

  • EXO 프레임워크 및 exo-explore 생태계 개요
  • 중앙 집중식 클라우드 추론 vs 분산 로컬 추론 비교
  • 아키텍처: libp2p 디바이스 discovery, MLX 백엔드, 대시보드 및 API 레이어
  • 하드웨어 요구사항: Apple Silicon(M3 Ultra, M4 Pro/Max), Thunderbolt 5, 공유 스토리지

macOS에 EXO 설치

  • Xcode, Metal ToolChain 및 macOS 필수 조건 설정
  • uv, Node.js, Rust nightly 도구 설치
  • Apple Silicon 모니터링용 고정된 macmon 포크 설치
  • 리포지토리 복제 및 npm으로 대시보드 빌드
  • 소스에서 EXO 실행 및 localhost:52415 대시보드 확인

Linux에 EXO 설치

  • apt 또는 Homebrew를 사용하여 Linux에서 의존성 설치
  • uv, Node.js 18+ 및 Rust nightly 구성
  • 대시보드 빌드 및 CPU 전용 모드에서 EXO 실행
  • 디렉토리 구조: config, data, cache, logs용 XDG 기본 디렉토리 경로

자동 디바이스 discovery 및 클러스터 형성

  • 로컬 네트워크 전반의 libp2p 기반 자동 discovery 이해
  • 클러스터 격리를 위해 EXO_LIBP2P_NAMESPACE로 네임스페이스 구성
  • 대시보드 클러스터 보기에서 노드 멤버십 확인
  • discovery 실패 및 네트워크 분할 문제 처리

Thunderbolt 5 over RDMA 활성화

  • RDMA 아키텍처 및 99% 지연 시간 감소 주장
  • macOS 복구 모드에서 rdma_ctl로 RDMA 활성화
  • Mac Studio의 케이블 요구사항 및 포트 토폴로지 제약사항
  • 모든 클러스터 노드에서 macOS 버전 일치
  • RDMA discovery 및 DHCP 구성 문제 해결

최첨단 모델 배포

  • 대시보드 사용하여 DeepSeek v3.1, Qwen3-235B, Llama 계열 모델 로드 및 샤딩
  • /instance/previews API 엔드포인트로 인스턴스 배치 미리보기
  • 파이프라인 또는 텐서 병렬 샤딩으로 모델 인스턴스 생성
  • HuggingFace 허브에서 사용자 정의 모델 카드 구성

모니터링 및 문제 해결

  • EXO 로그 읽기 및 분산 추적 이해
  • 대시보드 클러스터 보기에서 클러스터 상태 해석
  • 작업자 노드 장애 및 재연결 동작 진단
  • EXO_TRACING_ENABLED 사용하여 성능 병목 분석

클러스터 유지보수 및 업데이트

  • EXO 바이너리 업데이트 및 대시보드 다시 빌드 절차
  • 모델 캐시 마이그레이션 및 NFS를 통해 사전 다운로드된 모델 관리
  • 노드 정상 제거 및 워크로드 재균형

요건

  • 네트워크 기본 지식(IP, 서브넷팅, 방화벽)
  • macOS 또는 Linux 명령줄 관리 경험
  • Python 패키지 관리(pip/uv) 및 Node.js 도구 이해

대상

  • 시스템 관리자
  • DevOps 엔지니어
  • 온프레미스 LLM 배포 책임자
 21 시간

참가자 수


참가자별 가격

예정된 코스

관련 카테고리