Course Outline

커스텀 오퍼레이터 개발 개요

  • 커스텀 오퍼레이터를 만드는 이유: 사용 사례와 제약 조건
  • CANN 런타임 구조와 오퍼레이터 통합 포인트
  • Huawei AI 생태계에서의 TBE, TIK, TVM 개요

TIK를 사용한 저수준 오퍼레이터 Programming

  • TIK 프로그래밍 모델과 지원되는 API 이해
  • TIK에서의 메모리 관리와 타일링 전략
  • CANN와 함께 커스텀 오퍼레이터 생성, 컴파일, 등록

커스텀 오퍼레이터 테스트 및 검증

  • 그래프 내 오퍼레이터의 단위 테스트와 통합 테스트
  • 커널 수준 성능 문제 디버깅
  • 오퍼레이터 실행과 버퍼 동작 시각화

TVM 기반 스케줄링 및 최적화

  • TVM을 텐서 오퍼레이터 컴파일러로 개요
  • TVM에서 커스텀 오퍼레이터를 위한 스케줄 작성
  • Ascend를 위한 TVM 튜닝, 벤치마킹 및 코드 생성

프레임워크 및 모델과의 통합

  • MindSpore와 ONNX를 위한 커스텀 오퍼레이터 등록
  • 모델 무결성과 폴백 동작 검증
  • 혼합 정밀도 및 다중 오퍼레이터 그래프 지원

사례 연구 및 특화 최적화

  • 사례 연구: 소형 입력 모양을 위한 고효율 컨볼루션
  • 사례 연구: 메모리 인식 어텐션 오퍼레이터 최적화
  • 다양한 디바이스에서 커스텀 오퍼레이터 배포 최적 사례

요약 및 다음 단계

Requirements

  • AI 모델 내부 및 연산자 수준 계산에 대한 강력한 지식
  • Python 및 Linux 개발 환경 경험
  • 신경망 컴파일러 또는 그래프 수준 최적화기에 대한 familiarity

대상자

  • AI 도구체인에 대한 컴파일러 엔지니어
  • 저수준 AI 최적화에 집중하는 시스템 개발자
  • 맞춤형 연산자 또는 신규 AI 워크로드를 타겟으로 하는 개발자
 14 Hours

Number of participants


Price per participant

Upcoming Courses

Related Categories