Course Outline

소개

  • 딥러닝 스케일링 과제 개요
  • DeepSpeed 및 기능 개요
  • DeepSpeed 대 기타 분산형 딥러닝 라이브러리

시작하기

  • 개발 환경 설정
  • PyTorch 및 DeepSpeed 설치
  • 분산 학습을 위한 DeepSpeed 구성

DeepSpeed 최적화 기능

  • DeepSpeed 훈련 파이프라인
  • ZeRO(메모리 최적화)
  • 활성화 체크포인팅
  • 그래디언트 체크포인팅
  • 파이프라인 병렬성

DeepSpeed를 사용한 모델 확장

  • DeepSpeed를 사용한 기본 스케일링
  • 고급 스케일링 기술
  • 성능 고려 사항 및 모범 사례
  • 디버깅 및 문제 해결 기술

고급 DeepSpeed 주제

  • 고급 최적화 기술
  • 혼합 정밀도 훈련에 DeepSpeed 사용
  • 다양한 하드웨어(예: GPU, TPU)에서의 DeepSpeed
  • 여러 개의 훈련 노드를 갖춘 DeepSpeed

DeepSpeed를 PyTorch와 통합

  • DeepSpeed를 PyTorch 워크플로와 통합
  • PyTorch Lightning과 함께 DeepSpeed 사용

문제 해결

  • 일반적인 DeepSpeed 문제 디버깅
  • 모니터링 및 로깅

요약 및 다음 단계

  • 핵심 개념 및 기능 요약
  • 프로덕션에서 DeepSpeed를 사용하기 위한 모범 사례
  • DeepSpeed에 대해 더 알아보기 위한 추가 리소스

Requirements

  • 딥러닝 원리에 대한 중급 지식
  • PyTorch 또는 유사한 딥러닝 프레임워크 사용 경험
  • Python 프로그래밍에 익숙함

청중

  • 데이터 과학자
  • 머신러닝 엔지니어
  • 개발자
 21 Hours

Number of participants


Price per participant

Upcoming Courses

Related Categories