문의를 보내주셔서 감사합니다! 팀원이 곧 연락드리겠습니다.
예약을 보내주셔서 감사합니다! 저희 팀 멤버 중 한 분이 곧 연락드리겠습니다.
코스 개요
LLMOps 개요
- LLMOps와 MLOps의 차이점: LLM 운영 시 직면하는 고유한 과제들
- LLM 애플리케이션의 전체 수명주기: 프롬프트 작성, 평가, 배포 및 모니터링
- GenAI 애플리케이션을 실제 운영 환경에 투입하기 위한 체크리스트 살펴보기
프롬프트 관리 및 버전 제어
- 프롬프트 템플릿 시스템과 변수 삽입 방식 이해하기
- 자동화된 회귀 테스트 체계와 함께하는 프롬프트의 의미 기반 버전 관리 방법
- 프롬프트 저장소 구축 및 팀 간 협업 워크플로우 설계 전략
대규모 LLM 평가 방안
- 평가 기준: 정확도, 관련성, 안전성, 사실 근거 확인 능력 살펴보기
- AI가 평가자 역할을 수행하는 지표 설정과 인간 전문가를 통한 평가 파이프라인 구성
- RAGAS, DeepEval 및 사용자 맞춤형 평가 도구들을 활용한 자동화된 평가 프레임워크 구축
- LLM 배포 전 단계에서 지표 기반 품질 관리 검증 수행 방법
안전 장치 설정 및 콘텐츠 거버넌스 관리
- 입력값과 출력값에 대한 필터링: NeMo Guardrails와 Guardrails AI 활용법 살펴보기
- 개인정보 탐지, 유해 콘텐츠 차단 및 주제 범위 제한 조치 구현
- 프롬프트 삽입 공격이나 무단 명령 전달을 방어하는 대응 방법 배우기
- 안전성을 검증하기 위한 LLM 애플리케이션의 레드팀 테스트 수행법 이해
LLM 관측 및 실시간 모니터링 기술
- 토큰 사용량, 응답 지연 시간, 운영 비용 및 품질 수준에 대한 실시간 데이터 추적 방법
- LLM 출력값과 벡터 공간 내에서 일어나는 변화 양상을 탐지하는 기술 살펴보기
- 여러 차례의 대화가 이루어지는 환경에서도 각 세션별 데이터 추적 수행법 이해
- LangSmith, Arize 및 OpenTelemetry 등을 활용한 대시보드 설정과 알림 체계 구성 방법
AI 게이트웨이 및 모델 통합 관리 전략
- LiteLLM과 Portkey를 이용한 여러 공급업체별 AI 모델 라우팅 체계 설정 방법
- 장애 발생 시 자동 대응 기제인 폴백 전략, 재시도 및 회로 차단기 적용법 배우기
- 비용 효율성을 고려한 최적 모델 선정 방안과 부하 분산 체계 구현 방법 이해하기
- 요청 속도 제한, 할당량 관리 및 API 키 권한 통제를 위한 거버넌스 절차 적용법
성능 최적화 전략 구축
- 벡터 저장소와 정확한 일치 매칭을 활용하는 의미 기반 캐싱 기법 익히기
- 제약된 디코딩 메커니즘을 통해 출력값이 지정된 형태로 생성되도록 강제하는 방법 배우기
- 배치 처리, 스트림 연산 및 병렬 실행 모델의 장점 활용법 익히기
- 서로 다른 AI 공급업체들을 혼합 사용 시 응답 지연 시간 최소화 전략 마련하기
거버넌스, 규제 준수 및 감사 절차 확립
- 프롬프트 기록, 출력값 로그, 의사결정 과정 추적을 통해 LLM 사용 이력을 문서화하는 방법
- LLM API 운영 시 개인정보 보호와 데이터 현지 배치 요구사항 고려 방안 살펴보기
- 조직 내에서 LLM 활용 지침을 코드 형태로 표현하고 자동화할 수 있는 정책 적용법 이해하기
- 내부적으로 사용 가능한 표준 LLM 운영 안내서 작성 전략 마련하기
요건
- LLM 기반 애플리케이션 개발 또는 통합 경험 보유
- Python 프로그래밍과 REST API 활용에 대한 이해도 충분히 갖춤
- 프롬프트 엔지니어링 개념에 대한 기본 지식 보유
수강 대상자
- LLM 운영 분야로 진출하려는 ML 엔지니어 및 MLOps 전문가들
- LLM 인프라 구축과 관리를 담당하는 플랫폼 엔지니어링 팀원
- 실제 생산 환경에서 GenAI 애플리케이션을 운영 및 관리하는 기술 리더들
14 시간
회원 평가 (2)
적절하고 효과적인 프롬프트 사용
Marses Pacaldo
코스 - Generative AI and Prompt Engineering for Corporate Professionals
기계 번역됨
대화형 스타일, 연습문제
Tamas Tutuntzisz
코스 - Introduction to Prompt Engineering
기계 번역됨