Thank you for sending your enquiry! One of our team members will contact you shortly.
Thank you for sending your booking! One of our team members will contact you shortly.
Course Outline
소개
- 딥 러닝 확장 과제 개요
- DeepSpeed 및 해당 기능 개요
- DeepSpeed와 기타 분산 딥러닝 라이브러리 비교
시작하기
- 개발 환경 설정
- PyTorch 및 DeepSpeed 설치
- 분산 훈련을 위한 DeepSpeed 구성
DeepSpeed 최적화 기능
- DeepSpeed 훈련 파이프라인
- ZeRO(메모리 최적화)
- 활성화 체크포인트
- 그라데이션 체크포인트
- 파이프라인 병렬성
DeepSpeed를 사용한 모델 확장
- DeepSpeed를 사용한 기본 스케일링
- 고급 확장 기술
- 성능 고려 사항 및 모범 사례
- 디버깅 및 문제 해결 기술
고급 DeepSpeed 주제
- 고급 최적화 기술
- 혼합 정밀도 훈련에 DeepSpeed 사용
- 다양한 하드웨어(예: GPU, TPU)의 DeepSpeed
- 여러 훈련 노드가 있는 DeepSpeed
DeepSpeed를 Py와 통합Torch
- DeepSpeed를 PyTorch 워크플로와 통합
- PyTorch Lightning과 함께 DeepSpeed 사용
문제 해결
- 일반적인 DeepSpeed 문제 디버깅
- 모니터링 및 로깅
요약 및 다음 단계
- 주요 개념 및 기능 요약
- 프로덕션에서 DeepSpeed를 사용하기 위한 모범 사례
- DeepSpeed에 대해 자세히 알아볼 수 있는 추가 리소스
Requirements
- 딥러닝 원리에 대한 중급 지식
- PyTorch 또는 유사한 딥 러닝 프레임워크 사용 경험
- Python 프로그래밍에 대한 지식
청중
- 데이터 과학자
- 머신러닝 엔지니어
- 개발자
21 Hours