코스 개요

머신 러닝 모델 배포 준비

  • Docker를 사용한 모델 패키징
  • TensorFlow 및 PyTorch에서 모델 내보내기
  • 버전 관리 및 저장 고려사항

Kubernetes에서의 모델 서비스

  • 추론 서버 개요
  • TensorFlow Serving 및 TorchServe 배포
  • 모델 엔드포인트 설정

추론 최적화 기술

  • 배치 전략
  • 동시 요청 처리
  • 지연 시간 및 처리량 조정

ML 작업의 오토스케일링

  • Horizontal Pod Autoscaler (HPA)
  • Vertical Pod Autoscaler (VPA)
  • Kubernetes Event-Driven Autoscaling (KEDA)

GPU 프로비저닝 및 리소스 관리

  • GPU 노드 구성
  • NVIDIA 디바이스 플러그인 개요
  • ML 작업에 대한 리소스 요청 및 제한

모델 롤아웃 및 릴리스 전략

  • Blue/Green 배포
  • 캐나리 롤아웃 패턴
  • 모델 평가를 위한 A/B 테스트

프로덕션에서의 ML 모니터링 및 관찰성

  • 추론 작업에 대한 메트릭
  • 로깅 및 트레이싱 방법론
  • 대시보드 및 알림

보안 및 신뢰성 고려사항

  • 모델 엔드포인트 보호
  • 네트워크 정책 및 접근 제어
  • 높은 가용성 확보

요약 및 다음 단계

요건

  • 컨테이너화된 애플리케이션 워크플로우에 대한 이해
  • Python 기반 머신 러닝 모델 사용 경력
  • Kubernetes 기본 개념에 대한 익숙함

대상자

  • ML 엔지니어
  • DevOps 엔지니어
  • 플랫폼 엔지니어링 팀
 14 시간

참가자 수


참가자별 가격

회원 평가 (5)

예정된 코스

관련 카테고리