Course Outline

멀티모달 모델 소개

  • 멀티모달 머신 러닝 개요
  • 멀티모달 모델의 응용
  • 여러 데이터 유형을 처리하는 데 있어서의 과제

멀티모달 모델을 위한 아키텍처

  • CLIP, Flamingo, BLIP과 같은 모델 탐색
  • 교차 모달 주의 메커니즘 이해
  • 확장성 및 효율성을 위한 아키텍처 고려 사항

멀티모달 데이터 세트 준비

  • 데이터 수집 및 주석 기술
  • 텍스트, 이미지 및 비디오 입력 전처리
  • 멀티모달 작업을 위한 데이터 세트 밸런싱

멀티모달 모델을 위한 미세 조정 기술

  • 멀티모달 모델을 위한 교육 파이프라인 설정
  • 메모리 및 계산 제약 관리
  • 모달리티 간 정렬 처리

Fine-Tuned Multimodal 모델의 응용

  • 시각적 질문 답변
  • 이미지 및 비디오 캡션
  • 멀티모달 입력을 사용한 콘텐츠 생성

성능 최적화 및 평가

  • 멀티모달 작업에 대한 평가 지표
  • 프로덕션을 위한 대기 시간과 처리량 최적화
  • 모달리티 전반에 걸쳐 견고성과 일관성 보장

멀티모달 모델 배포

  • 배포를 위한 패키징 모델
  • Scala클라우드 플랫폼에서의 추론 가능
  • 실시간 애플리케이션 및 통합

사례 연구 및 실습 랩

  • 콘텐츠 기반 이미지 검색을 위한 CLIP 미세 조정
  • 텍스트와 비디오를 사용한 멀티모달 챗봇 교육
  • 크로스 모달 검색 시스템 구현

요약 및 다음 단계

Requirements

  • Python 프로그래밍에 능숙함
  • 딥러닝 개념 이해
  • 사전 훈련된 모델의 미세 조정 경험

청중

  • AI 연구자
  • 데이터 과학자
  • 머신 러닝 실무자
 28 Hours

Number of participants


Price per participant

Upcoming Courses

Related Categories