연락처 정보

코스 개요

매개변수 효율적 파인튜닝(PEFT) 도입

  • 전체 파인튜닝의 동기와 한계
  • PEFT 개요: 목표 및 이점
  • 산업 분야의 응용 및 사용 사례

LoRA (Low-Rank Adaptation)

  • LoRA의 개념과 직관적 이해
  • Hugging Face와 PyTorch를 활용한 LoRA 구현
  • 실습: LoRA를 이용한 모델 파인튜닝

어댑터 튜닝(Adapter Tuning)

  • 어댑터 모듈의 작동 원리
  • 트랜스포머 기반 모델과의 통합
  • 실습: 트랜스포머 모델에 어댑터 튜닝 적용

프리픽스 튜닝(Prefix Tuning)

  • 소프트 프롬프트를 활용한 파인튜닝
  • LoRA 및 어댑터와의 비교 강점 및 한계
  • 실습: LLM 작업에 대한 프리픽스 튜닝

PEFT 방법 평가 및 비교

  • 성능 및 효율성 평가 지표
  • 훈련 속도, 메모리 사용량, 정확도 간의 트레이드오프
  • 벤치마킹 실험 및 결과 해석

파인튜닝된 모델 배포

  • 파인튜닝된 모델의 저장 및 로드
  • PEFT 기반 모델의 배포 고려 사항
  • 애플리케이션 및 파이프라인 통합

베스트 프랙티스 및 확장

  • PEFT와 양자화, 증류의 결합
  • 저자원 및 다국어 환경에서의 활용
  • 미래 방향 및 활성 연구 분야

요건

  • 머신러닝 기초 지식 이해
  • 대규모 언어 모델(LLM) 작업 경험
  • Python 및 PyTorch 숙련도

대상听众

  • 데이터 과학자
  • AI 엔지니어
 14 시간

참가자 수


참가자별 가격

예정된 코스

관련 카테고리