Course Outline

오픈 소스 LLM 소개

  • 오픈 가중치 모델이 무엇인지 그리고 그 중요성
  • LLaMA, Mistral, Qwen 및 기타 커뮤니티 모델 개요
  • 프라이빗, 온-프레미스 또는 보안 배포에 대한 사용 사례

환경 설정 및 도구

  • Transformers, Datasets, 그리고 PEFT 라이브러리 설치 및 설정
  • 파인튜닝에 적절한 하드웨어 선택
  • Hugging Face 또는 기타 저장소에서 사전 학습된 모델 로드

데이터 준비 및 전처리

  • 데이터셋 형식 (명령 튜닝, 채팅 데이터, 텍스트 전용)
  • 토큰화 및 시퀀스 관리
  • 사용자 지정 데이터셋 및 데이터 로더 생성

Fine-Tuning 기법

  • 표준 전체 파인튜닝 vs. 매개변수 효율적인 방법
  • LoRA 및 QLoRA를 적용하여 효율적인 파인튜닝 수행
  • Trainer API를 사용하여 빠른 실험 수행

모델 평가 및 최적화

  • 생성 및 정확도 지표를 사용하여 파인튜닝된 모델 평가
  • 과적합, 일반화, 및 검증 세트 관리
  • 성능 튜닝 팁 및 로깅

배포 및 프라이빗 사용

  • 추론을 위한 모델 저장 및 로드
  • 안전한 기업 환경에 파인튜닝된 모델 배포
  • 온-프레미스 vs. 클라우드 배포 전략

사례 연구 및 Use Case

  • LLaMA, Mistral, 그리고 Qwen의 기업 사용 사례
  • 다중 언어 및 도메인 특화 파인튜닝 처리
  • 토론: 오픈 및 폐쇄 모델 간의 트레이드오프

요약 및 다음 단계

Requirements

  • 대형 언어 모델(LLM)과 그 아키텍처에 대한 이해
  • Python와 PyTorch에 대한 경험
  • Hugging Face 에코시스템에 대한 기본적인 친숙함

대상자

  • ML 실습자
  • AI 개발자
 14 Hours

Number of participants


Price per participant

Upcoming Courses

Related Categories