연락처 정보

코스 개요

파라미터 효율적 파인튜닝(PEFT) 소개

  • 전체 파인튜닝의 동기와 한계
  • PEFT 개요: 목표와 이점
  • 산업 내 응용 및 사용 사례

LoRA (Low-Rank Adaptation)

  • LoRA의 개념 및 직관
  • Hugging Face와 PyTorch를 사용한 LoRA 구현
  • 실습: LoRA를 사용한 모델 파인튜닝

Adapter Tuning

  • 어댑터 모듈의 작동 방식
  • 트랜스포머 기반 모델과의 통합
  • 실습: 트랜스포머 모델에 Adapter Tuning 적용

Prefix Tuning

  • 소프트 프롬프트를 사용한 파인튜닝
  • LoRA 및 어댑터와 비교한 강점 및 한계
  • 실습: LLM 작업에서의 Prefix Tuning

PEFT 방법 평가 및 비교

  • 성과와 효율성을 평가하기 위한 지표
  • 학습 속도, 메모리 사용량 및 정확성 간의 트레이드오프
  • 벤치마크 실험 및 결과 해석

파인튜닝된 모델 배포

  • 파인튜닝된 모델 저장 및 로드
  • PEFT 기반 모델의 배포 고려 사항
  • 애플리케이션 및 파이프라인에 통합

모범 사례 및 확장

  • 양자화 및 지상화(distillation)와 PEFT 결합
  • 저자원 및 다국어 환경에서의 활용
  • 미래 방향 및 활발한 연구 분야

요약 및 다음 단계

요건

  • 기계 학습 기본 원리에 대한 이해
  • 대규모 언어 모델(LLM) 작업 경험
  • Python 및 PyTorch에 대한 익숙함

대상

  • 데이터 과학자
  • AI 엔지니어
 14 시간

참가자 수


참가자별 가격

예정된 코스

관련 카테고리