Course Outline

소개

  • 딥 러닝 확장 과제 개요
  • DeepSpeed 및 해당 기능 개요
  • DeepSpeed와 기타 분산 딥러닝 라이브러리 비교

시작하기

  • 개발 환경 설정
  • PyTorch 및 DeepSpeed 설치
  • 분산 훈련을 위한 DeepSpeed 구성

DeepSpeed 최적화 기능

  • DeepSpeed 훈련 파이프라인
  • ZeRO(메모리 최적화)
  • 활성화 체크포인트
  • 그라데이션 체크포인트
  • 파이프라인 병렬성

DeepSpeed를 사용한 모델 확장

  • DeepSpeed를 사용한 기본 스케일링
  • 고급 확장 기술
  • 성능 고려 사항 및 모범 사례
  • 디버깅 및 문제 해결 기술

고급 DeepSpeed 주제

  • 고급 최적화 기술
  • 혼합 정밀도 훈련에 DeepSpeed 사용
  • 다양한 하드웨어(예: GPU, TPU)의 DeepSpeed
  • 여러 훈련 노드가 있는 DeepSpeed

DeepSpeed를 Py와 통합Torch

  • DeepSpeed를 PyTorch 워크플로와 통합
  • PyTorch Lightning과 함께 DeepSpeed 사용

문제 해결

  • 일반적인 DeepSpeed 문제 디버깅
  • 모니터링 및 로깅

요약 및 다음 단계

  • 주요 개념 및 기능 요약
  • 프로덕션에서 DeepSpeed를 사용하기 위한 모범 사례
  • DeepSpeed에 대해 자세히 알아볼 수 있는 추가 리소스

Requirements

  • 딥러닝 원리에 대한 중급 지식
  • PyTorch 또는 유사한 딥 러닝 프레임워크 사용 경험
  • Python 프로그래밍에 대한 지식

청중

  • 데이터 과학자
  • 머신러닝 엔지니어
  • 개발자
 21 Hours

Number of participants



Price per participant

Related Courses

Related Categories