연락처 정보

코스 개요

LLMOps 개요

  • LLMOps와 MLOps의 차이점: LLM 운영 시 직면하는 고유한 과제들
  • LLM 애플리케이션의 전체 수명주기: 프롬프트 작성, 평가, 배포 및 모니터링
  • GenAI 애플리케이션을 실제 운영 환경에 투입하기 위한 체크리스트 살펴보기

프롬프트 관리 및 버전 제어

  • 프롬프트 템플릿 시스템과 변수 삽입 방식 이해하기
  • 자동화된 회귀 테스트 체계와 함께하는 프롬프트의 의미 기반 버전 관리 방법
  • 프롬프트 저장소 구축 및 팀 간 협업 워크플로우 설계 전략

대규모 LLM 평가 방안

  • 평가 기준: 정확도, 관련성, 안전성, 사실 근거 확인 능력 살펴보기
  • AI가 평가자 역할을 수행하는 지표 설정과 인간 전문가를 통한 평가 파이프라인 구성
  • RAGAS, DeepEval 및 사용자 맞춤형 평가 도구들을 활용한 자동화된 평가 프레임워크 구축
  • LLM 배포 전 단계에서 지표 기반 품질 관리 검증 수행 방법

안전 장치 설정 및 콘텐츠 거버넌스 관리

  • 입력값과 출력값에 대한 필터링: NeMo Guardrails와 Guardrails AI 활용법 살펴보기
  • 개인정보 탐지, 유해 콘텐츠 차단 및 주제 범위 제한 조치 구현
  • 프롬프트 삽입 공격이나 무단 명령 전달을 방어하는 대응 방법 배우기
  • 안전성을 검증하기 위한 LLM 애플리케이션의 레드팀 테스트 수행법 이해

LLM 관측 및 실시간 모니터링 기술

  • 토큰 사용량, 응답 지연 시간, 운영 비용 및 품질 수준에 대한 실시간 데이터 추적 방법
  • LLM 출력값과 벡터 공간 내에서 일어나는 변화 양상을 탐지하는 기술 살펴보기
  • 여러 차례의 대화가 이루어지는 환경에서도 각 세션별 데이터 추적 수행법 이해
  • LangSmith, Arize 및 OpenTelemetry 등을 활용한 대시보드 설정과 알림 체계 구성 방법

AI 게이트웨이 및 모델 통합 관리 전략

  • LiteLLM과 Portkey를 이용한 여러 공급업체별 AI 모델 라우팅 체계 설정 방법
  • 장애 발생 시 자동 대응 기제인 폴백 전략, 재시도 및 회로 차단기 적용법 배우기
  • 비용 효율성을 고려한 최적 모델 선정 방안과 부하 분산 체계 구현 방법 이해하기
  • 요청 속도 제한, 할당량 관리 및 API 키 권한 통제를 위한 거버넌스 절차 적용법

성능 최적화 전략 구축

  • 벡터 저장소와 정확한 일치 매칭을 활용하는 의미 기반 캐싱 기법 익히기
  • 제약된 디코딩 메커니즘을 통해 출력값이 지정된 형태로 생성되도록 강제하는 방법 배우기
  • 배치 처리, 스트림 연산 및 병렬 실행 모델의 장점 활용법 익히기
  • 서로 다른 AI 공급업체들을 혼합 사용 시 응답 지연 시간 최소화 전략 마련하기

거버넌스, 규제 준수 및 감사 절차 확립

  • 프롬프트 기록, 출력값 로그, 의사결정 과정 추적을 통해 LLM 사용 이력을 문서화하는 방법
  • LLM API 운영 시 개인정보 보호와 데이터 현지 배치 요구사항 고려 방안 살펴보기
  • 조직 내에서 LLM 활용 지침을 코드 형태로 표현하고 자동화할 수 있는 정책 적용법 이해하기
  • 내부적으로 사용 가능한 표준 LLM 운영 안내서 작성 전략 마련하기

요건

  • LLM 기반 애플리케이션 개발 또는 통합 경험 보유
  • Python 프로그래밍과 REST API 활용에 대한 이해도 충분히 갖춤
  • 프롬프트 엔지니어링 개념에 대한 기본 지식 보유

수강 대상자

  • LLM 운영 분야로 진출하려는 ML 엔지니어 및 MLOps 전문가들
  • LLM 인프라 구축과 관리를 담당하는 플랫폼 엔지니어링 팀원
  • 실제 생산 환경에서 GenAI 애플리케이션을 운영 및 관리하는 기술 리더들
 14 시간

참가자 수


참가자별 가격

회원 평가 (2)

예정된 코스

관련 카테고리