연락처 정보
 기간 14 시간

코스 개요

인간 피드백 기반 강화 학습(RLHF) 소개

  • RLHF란 무엇이며 왜 중요한가
  • 지도 학습 기반 파인튜닝 기법과의 비교
  • 현대 AI 시스템에서의 RLHF 활용 사례

인간 피드백을 활용한 보상 모델링

  • 인간 피드백 수집 및 구조화
  • 보상 모델 구축 및 학습
  • 보상 모델의 효과성 평가

근접 정책 최적화(PPO)를 통한 학습

  • RLHF용 PPO 알고리즘 개요
  • 보상 모델을 활용한 PPO 구현
  • 반복적이고 안전한 모델 파인튜닝

언어 모델 실전 파인튜닝

  • RLHF 워크플로용 데이터셋 준비
  • RLHF를 활용한 소형 LLM 실전 파인튜닝
  • 도전 과제 및 완화 전략

생산 시스템으로의 RLHF 확장

  • 인프라 및 컴퓨팅 자원 고려 사항
  • 품질 보증 및 지속적인 피드백 루프
  • 배포 및 유지보수를 위한 모범 사례

윤리적 고려 사항 및 편향 완화

  • 인간 피드백 내 윤리적 리스크 대응
  • 편향 탐지 및 수정 전략
  • 정렬 보장 및 안전한 출력 확보

사례 연구 및 실제 예시

  • 사례 연구: RLHF를 통한 ChatGPT 파인튜닝
  • 타 성공적인 RLHF 배포 사례
  • 교훈 및 업계 통찰

요건

  • 지도 학습 및 강화 학습의 기본 개념에 대한 이해
  • 모델 파인튜닝 및 신경망 아키텍처 경험
  • Python 프로그래밍 및 딥러닝 프레임워크(TensorFlow, PyTorch 등)에 대한 숙지

대상 수강생

  • 머신러닝 엔지니어
  • AI 연구자

참가자 수


참가자별 가격

예정된 코스

관련 카테고리