Thank you for sending your enquiry! One of our team members will contact you shortly.
Thank you for sending your booking! One of our team members will contact you shortly.
Course Outline
소개
- 딥러닝 스케일링 과제 개요
- DeepSpeed 및 기능 개요
- DeepSpeed 대 기타 분산형 딥러닝 라이브러리
시작하기
- 개발 환경 설정
- PyTorch 및 DeepSpeed 설치
- 분산 학습을 위한 DeepSpeed 구성
DeepSpeed 최적화 기능
- DeepSpeed 훈련 파이프라인
- ZeRO(메모리 최적화)
- 활성화 체크포인팅
- 그래디언트 체크포인팅
- 파이프라인 병렬성
DeepSpeed를 사용한 모델 확장
- DeepSpeed를 사용한 기본 스케일링
- 고급 스케일링 기술
- 성능 고려 사항 및 모범 사례
- 디버깅 및 문제 해결 기술
고급 DeepSpeed 주제
- 고급 최적화 기술
- 혼합 정밀도 훈련에 DeepSpeed 사용
- 다양한 하드웨어(예: GPU, TPU)에서의 DeepSpeed
- 여러 개의 훈련 노드를 갖춘 DeepSpeed
DeepSpeed를 PyTorch와 통합
- DeepSpeed를 PyTorch 워크플로와 통합
- PyTorch Lightning과 함께 DeepSpeed 사용
문제 해결
- 일반적인 DeepSpeed 문제 디버깅
- 모니터링 및 로깅
요약 및 다음 단계
- 핵심 개념 및 기능 요약
- 프로덕션에서 DeepSpeed를 사용하기 위한 모범 사례
- DeepSpeed에 대해 더 알아보기 위한 추가 리소스
Requirements
- 딥러닝 원리에 대한 중급 지식
- PyTorch 또는 유사한 딥러닝 프레임워크 사용 경험
- Python 프로그래밍에 익숙함
청중
- 데이터 과학자
- 머신러닝 엔지니어
- 개발자
21 Hours
회원 평가 (2)
Organization, adhering to the proposed agenda, the trainer's vast knowledge in this subject
Ali Kattan - TWPI
Course - Natural Language Processing with TensorFlow
Very updated approach or CPI (tensor flow, era, learn) to do machine learning.