Course Outline

파라미터 효율적 조정(PEFT) 소개

  • 전체 미세 조정에 대한 동기 및 제한 사항
  • PEFT 개요: 목표 및 이익
  • 산업에서의 응용 사례 및 사용 사례

LoRA (저랭크 적응)

  • LoRA의 개념 및 직관
  • Hugging Face과 PyTorch을 사용하여 LoRA 구현
  • 실습: LoRA를 사용하여 모델 미세 조정

어댑터 튜닝

  • 어댑터 모듈 작동 방식
  • 트랜스포머 기반 모델과의 통합
  • 실습: 트랜스포머 모델에 어댑터 튜닝 적용

프리픽스 튜닝

  • 소프트 프롬프트 사용
  • LoRA와 어댑터와의 비교: 장단점
  • 실습: LLM 작업에 대한 프리픽스 튜닝

PEFT 방법 평가 및 비교

  • 성능 및 효율성 평가를 위한 지표
  • 학습 속도, 메모리 사용량 및 정확도 간의 트레이드오프
  • 벤치마킹 실험 및 결과 해석

미세 조정된 모델 배포

  • 미세 조정된 모델 저장 및 로드
  • PEFT 기반 모델을 위한 배포 고려 사항
  • 애플리케이션 및 파이프라인과의 통합

최고의 실천 방법 및 확장

  • PEFT와 양자화 및 증류 조합
  • 저자원 및 다언어 설정에서의 사용
  • 미래 방향 및 활발한 연구 분야

요약 및 다음 단계

Requirements

  • 머신러닝 기본 개념에 대한 이해
  • 대형 언어 모델(LLMs)과 작업한 경험
  • Python 및 PyTorch에 대한 익숙함

대상

  • 데이터 과학자
  • AI 엔지니어
 14 Hours

Number of participants


Price per participant

Upcoming Courses

Related Categories