문의를 보내주셔서 감사합니다! 팀원이 곧 연락드리겠습니다.
예약을 보내주셔서 감사합니다! 저희 팀 멤버 중 한 분이 곧 연락드리겠습니다.
코스 개요
소개
- 딥러닝 스케일링 과제 개요
- DeepSpeed 및 기능 개요
- DeepSpeed 대 기타 분산형 딥러닝 라이브러리
시작하기
- 개발 환경 설정
- PyTorch 및 DeepSpeed 설치
- 분산 학습을 위한 DeepSpeed 구성
DeepSpeed 최적화 기능
- DeepSpeed 훈련 파이프라인
- ZeRO(메모리 최적화)
- 활성화 체크포인팅
- 그래디언트 체크포인팅
- 파이프라인 병렬성
DeepSpeed를 사용한 모델 확장
- DeepSpeed를 사용한 기본 스케일링
- 고급 스케일링 기술
- 성능 고려 사항 및 모범 사례
- 디버깅 및 문제 해결 기술
고급 DeepSpeed 주제
- 고급 최적화 기술
- 혼합 정밀도 훈련에 DeepSpeed 사용
- 다양한 하드웨어(예: GPU, TPU)에서의 DeepSpeed
- 여러 개의 훈련 노드를 갖춘 DeepSpeed
DeepSpeed를 PyTorch와 통합
- DeepSpeed를 PyTorch 워크플로와 통합
- PyTorch Lightning과 함께 DeepSpeed 사용
문제 해결
- 일반적인 DeepSpeed 문제 디버깅
- 모니터링 및 로깅
요약 및 다음 단계
- 핵심 개념 및 기능 요약
- 프로덕션에서 DeepSpeed를 사용하기 위한 모범 사례
- DeepSpeed에 대해 더 알아보기 위한 추가 리소스
요건
- 딥러닝 원리에 대한 중급 지식
- PyTorch 또는 유사한 딥러닝 프레임워크 사용 경험
- Python 프로그래밍에 익숙함
청중
- 데이터 과학자
- 머신러닝 엔지니어
- 개발자
21 시간
회원 평가 (2)
Organization, adhering to the proposed agenda, the trainer's vast knowledge in this subject
Ali Kattan - TWPI
코스 - Natural Language Processing with TensorFlow
Very updated approach or CPI (tensor flow, era, learn) to do machine learning.