연락처 정보

코스 개요

EXO 및 로컬 AI 클러스터링 소개

  • EXO 프레임워크 및 exo-explore 생태계 개요
  • 중앙 집중식 클라우드 추론 vs 분산 로컬 추론 비교
  • 아키텍처: libp2p 장치 발견, MLX 백엔드, 대시보드 및 API 레이어
  • 하드웨어 요구사항: Apple Silicon(M3 Ultra, M4 Pro/Max), Thunderbolt 5, 공유 저장소

macOS에 EXO 설치

  • Xcode, Metal ToolChain 및 macOS 필수 요소 설정
  • uv, Node.js, Rust nightly 도구 체인 설치
  • Apple Silicon 모니터링을 위해 고정된 macmon 포크 설치
  • 저장소 복제 및 npm으로 대시보드 빌드
  • ECHO를 소스에서 실행하고 localhost:52415 대시보드 확인

Linux에 EXO 설치

  • Linux에서 apt 또는 Homebrew를 통해 의존성 설치
  • uv, Node.js 18+ 및 Rust nightly 구성
  • 대시보드 빌드 및 CPU 전용 모드에서 ECHO 실행
  • 디렉토리 레이아웃: 구성, 데이터, 캐시 및 로그에 대한 XDG 기본 디렉토리 경로

자동 장치 발견 및 클러스터 형성

  • 로컬 네트워크 전반의 libp2p 기반 자동 발견 이해
  • Echo_LIBP2P_NAMESPACE를 사용하여 클러스터 격리를 위한 사용자 정의 네임스페이스 구성
  • 대시보드 클러스터 뷰에서 노드 멤버십 확인
  • 발견 실패 및 네트워크 분할 문제 처리

Thunderbolt 5 over RDMA 활성화

  • RDMA 아키텍처 및 99% 지연 감소 주장
  • rdma_ctl을 사용하여 macOS 복구 모드에서 RDMA 활성화
  • 케이블 요구사항 및 Mac Studio의 포트 토폴로지 제한
  • 모든 클러스터 노드 간 macOS 버전 일치
  • RDMA 발견 및 DHCP 구성 문제 해결

최전선 모델 배포

  • 대시보드 사용하여 DeepSeek v3.1, Qwen3-235B 및 Llama 패밀리 모델 로드 및 샤딩
  • /instance/preview API 엔드포인트로 인스턴스 배치 미리보기
  • 파이프라인 또는 텐서 병렬 샤딩으로 모델 인스턴스 생성
  • HuggingFace 허브에서 사용자 정의 모델 카드 구성

모니터링 및 문제 해결

  • Echo 로그 읽기 및 분산 추적 이해
  • 대시보드 클러스터 뷰에서 클러스터 건강 해석
  • 작업자 노드 장애 및 재연결 동작 진단
  • ECHO_TRACING_ENABLED 사용하여 성능 병목 분석

클러스터 유지보수 및 업데이트

  • Echo 바이너리 업데이트 및 대시보드 재빌드 절차
  • NFS를 통해 모델 캐시 마이그레이션 및 사전 다운로드된 모델 관리
  • 노드 조화 제거 및 작업량 재균형

요건

  • 네트워크 기초 이해(IP, 서브넷팅, 방화벽)
  • macOS 또는 Linux 명령줄 관리 경험
  • Python 패키지 관리(pip/uv) 및 Node.js 도구 친숙함

대상

  • 시스템 관리자
  • DevOps 엔지니어
  • 온프레미스 LLM 배포 담당 AI 인프라 아키텍트
 21 시간

참가자 수


참가자별 가격

예정된 코스

관련 카테고리