Course Outline

Large Language Models (LLMs) 소개

  • LLM 개요
  • 정의와 의의
  • 오늘날 AI의 응용

트랜스포머 아키텍처

  • 변압기란 무엇이며 어떻게 작동합니까?
  • 주요 구성품 및 특징
  • 임베딩 및 위치 인코딩
  • 다중 헤드 관심
  • 피드포워드 신경망
  • 정규화 및 잔여 연결

변압기 모델

  • 자기 주의 메커니즘
  • 인코더-디코더 아키텍처
  • 위치 임베딩
  • BERT(변압기의 양방향 인코더 표현)
  • GPT(생성 사전 훈련된 변환기)

성능 최적화 및 함정

  • 컨텍스트 길이
  • Mamba 및 상태공간 모델
  • 플래시 주의
  • 희소 변환기
  • 비전 트랜스포머
  • 양자화의 중요성

변압기 개선

  • 검색 증강 텍스트 생성
  • 모델의 혼합
  • 생각의 나무

미세 조정

  • 하위 적응 이론
  • QLora를 통한 미세 조정

LLM의 확장 법칙 및 최적화

  • LLM에 대한 확장 법칙의 중요성
  • 데이터 및 모델 크기 확장
  • 계산적 스케일링
  • 매개변수 효율성 확장

최적화

  • 모델 크기, 데이터 크기, 컴퓨팅 예산 및 추론 요구 사항 간의 관계
  • LLM의 성능 및 효율성 최적화
  • LLM 교육 및 미세 조정을 위한 모범 사례 및 도구

교육 및 미세 조정 LLM

  • LLM을 처음부터 교육하는 단계와 과제
  • 데이터 수집 및 유지 관리
  • 대규모 데이터, CPU 및 메모리 요구 사항
  • 최적화 과제
  • 오픈소스 LLM 환경

Reinforcement Learning의 기본 사항(RL)

  • Reinforcement Learning 소개
  • 긍정적 강화를 통한 학습
  • 정의 및 핵심 개념
  • 마르코프 결정 프로세스(MDP)
  • 동적 프로그래밍
  • 몬테카를로 방법
  • 시간차 학습

딥 Reinforcement Learning

  • 심층 Q-네트워크(DQN)
  • PPO(근위 정책 최적화)
  • Reinforcement Learning 중 Element

LLM과 Reinforcement Learning의 통합

  • LLM을 Reinforcement Learning와 결합
  • LLM에서 RL이 사용되는 방법
  • Reinforcement Learning 인간 피드백(RLHF) 사용
  • RLHF의 대안

사례 연구 및 응용

  • 실제 애플리케이션
  • 성공 사례 및 과제

고급 주제

  • 고급 기술
  • 고급 최적화 방법
  • 최첨단 연구 및 개발

요약 및 다음 단계

Requirements

  • Machine Learning에 대한 기본 이해

청중

  • 데이터 과학자
  • 소프트웨어 엔지니어
 21 Hours

Number of participants


Price per participant

Upcoming Courses

Related Categories