문의를 보내주셔서 감사합니다! 팀원이 곧 연락드리겠습니다.
예약을 보내주셔서 감사합니다! 저희 팀 멤버 중 한 분이 곧 연락드리겠습니다.
코스 개요
성능 개념 및 지표
- 지연 시간, 처리량, 전력 사용량, 자원 활용률
- 시스템 레벨 대 모델 레벨 병목 현상
- 추론 및 학습용 프로파일링
Huawei Ascend 프로파일링
- CANN Profiler 및 MindInsight 사용법
- 커널 및 연산자 진단
- 오프로드 패턴 및 메모리 매핑
Biren GPU 프로파일링
- Biren SDK 성능 모니터링 기능
- 커널 퓨전, 메모리 정렬, 실행 큐 관리
- 전력 및 온도 기반 프로파일링
Cambricon MLU 프로파일링
- BANGPy 및 Neuware 성능 도구
- 커널 레벨 가시성 및 로그 해석
- 배포 프레임워크와의 MLU 프로파일러 통합
그래프 및 모델 레벨 최적화
- 그래프 프리uning 및 양자화 전략
- 연산자 퓨전 및 계산 그래프 재구성
- 입력 크기 표준화 및 배치 튜닝
메모리 및 커널 최적화
- 메모리 레이아웃 및 재사용 최적화
- 칩셋 간 효율적인 버퍼 관리
- 플랫폼별 커널 레벨 튜닝 기법
크로스 플랫폼 모범 사례
- 성능 이식성: 추상화 전략
- 멀티 칩 환경을 위한 공유 튜닝 파이프라인 구축
- 예제: Ascend, Biren, MLU 전반에 걸친 객체 감지 모델 튜닝
요약 및 향후 단계
요건
- AI 모델 학습 또는 배포 파이프라인 처리 경험
- GPU/MLU 컴퓨팅 원리 및 모델 최적화에 대한 이해
- 성능 프로파일링 도구 및 지표에 대한 기본적 친숙도
대상 독자
- 성능 엔지니어
- 머신러닝 인프라 팀
- AI 시스템 아키텍트
21 시간
