문의를 보내주셔서 감사합니다! 팀원이 곧 연락드리겠습니다.
예약을 보내주셔서 감사합니다! 저희 팀 멤버 중 한 분이 곧 연락드리겠습니다.
코스 개요
소개
- 딥러닝 스케일링 과제 개요
- DeepSpeed 및 기능 개요
- DeepSpeed 대 기타 분산형 딥러닝 라이브러리
시작하기
- 개발 환경 설정
- PyTorch 및 DeepSpeed 설치
- 분산 학습을 위한 DeepSpeed 구성
DeepSpeed 최적화 기능
- DeepSpeed 훈련 파이프라인
- ZeRO(메모리 최적화)
- 활성화 체크포인팅
- 그래디언트 체크포인팅
- 파이프라인 병렬성
DeepSpeed를 사용한 모델 확장
- DeepSpeed를 사용한 기본 스케일링
- 고급 스케일링 기술
- 성능 고려 사항 및 모범 사례
- 디버깅 및 문제 해결 기술
고급 DeepSpeed 주제
- 고급 최적화 기술
- 혼합 정밀도 훈련에 DeepSpeed 사용
- 다양한 하드웨어(예: GPU, TPU)에서의 DeepSpeed
- 여러 개의 훈련 노드를 갖춘 DeepSpeed
DeepSpeed를 PyTorch와 통합
- DeepSpeed를 PyTorch 워크플로와 통합
- PyTorch Lightning과 함께 DeepSpeed 사용
문제 해결
- 일반적인 DeepSpeed 문제 디버깅
- 모니터링 및 로깅
요약 및 다음 단계
- 핵심 개념 및 기능 요약
- 프로덕션에서 DeepSpeed를 사용하기 위한 모범 사례
- DeepSpeed에 대해 더 알아보기 위한 추가 리소스
요건
- 딥러닝 원리에 대한 중급 지식
- PyTorch 또는 유사한 딥러닝 프레임워크 사용 경험
- Python 프로그래밍에 익숙함
청중
- 데이터 과학자
- 머신러닝 엔지니어
- 개발자
21 시간
회원 평가 (3)
CHAT GPT를 활용해 놀았던 마지막 부분이 정말 좋았습니다. 그러나 방의 배치가 이에 적합하지 않았는데, 하나의 큰 테이블 대신 작은 테이블 몇 개를 사용하여 소그룹으로 나누어 브레인스토밍을 할 수 있었으면 더 도움이 되었을 것입니다.
Nola - Laramie County Community College
코스 - Artificial Intelligence (AI) Overview
기계 번역됨
초점 있게 근본 원칙을 바탕으로 작업하고, 같은 날 내부 사례 연구를 적용하는 것
Maggie Webb - Department of Jobs, Regions, and Precincts
코스 - Artificial Neural Networks, Machine Learning, Deep Thinking
기계 번역됨
실제 회사 데이터를 사용했습니다. 트레이너는 수강생들이 참여하고 경쟁하도록 하는 매우 좋은 접근 방식을 가졌습니다.
Jimena Esquivel - Zaklad Uslugowy Hakoman Andrzej Cybulski
코스 - Applied AI from Scratch in Python
기계 번역됨