연락처 정보
 기간 14 시간

코스 개요

배포를 위한 기계 학습 모델 준비

  • Docker를 이용한 모델 패키징
  • TensorFlow 및 PyTorch로부터 모델 내보내기
  • 버전 관리 및 저장소 고려 사항

Kubernetes에서의 모델 서빙

  • 추론 서버 개요
  • TensorFlow Serving 및 TorchServe 배포
  • 모델 엔드포인트 설정

추론 최적화 기법

  • 배칭(Batching) 전략
  • 동시 요청 처리
  • 지연 시간(Latency) 및 처리량(Throughput) 튜닝

ML 워크로드 오토스케일링

  • Horizontal Pod Autoscaler (HPA)
  • Vertical Pod Autoscaler (VPA)
  • Kubernetes Event-Driven Autoscaling (KEDA)

GPU 프로비저닝 및 리소스 관리

  • GPU 노드 구성
  • NVIDIA 디바이스 플러그인 개요
  • ML 워크로드를 위한 리소스 요청 및 한계 설정

모델 롤아웃 및 릴리스 전략

  • 블루/그린 배포
  • 카나리 롤아웃 패턴
  • 모델 평가를 위한 A/B 테스트

프로덕션 환경에서 ML 모니터링 및 관찰 가능성(Observability)

  • 추론 워크로드용 메트릭
  • 로깅 및 트레이싱 관행
  • 대시보드 및 알림

보안 및 신뢰성 고려 사항

  • 모델 엔드포인트 보안 강화
  • 네트워크 정책 및 접근 제어
  • 고가용성(High Availability) 확보

요약 및 다음 단계

요건

  • 컨테이너화 된 애플리케이션 워크플로우에 대한 이해
  • Python 기반 기계 학습 모델에 대한 경험
  • Kubernetes 기본 개념에 대한 익숙함

대상 audiencia

  • ML 엔지니어
  • DevOps 엔지니어
  • 플랫폼 엔지니어링 팀

참가자 수


참가자별 가격

회원 평가 (4)

예정된 코스

관련 카테고리