문의를 보내주셔서 감사합니다! 팀원이 곧 연락드리겠습니다.
Thank you for sending your booking! One of our team members will contact you shortly.
Course Outline
소개 및 진단 기초
- LLM 시스템의 실패 모드 개요 및 일반적인 Ollama 특이 문제
- 재현 가능한 실험 및 제어된 환경 설정
- 디버깅 도구 세트: 로컬 로그, 요청/응답 캡처 및 샌드박싱
실패 재현 및 격리
- 최소 실패 예제 및 시드 생성 기술
- 상태 유지 vs 비상태 유지 상호작용: 컨텍스트 관련 버그 격리
- 결정론, 무작위성 및 비결정론적 행동 제어
행동 평가 및 지표
- 정량적 지표: 정확도, ROUGE/BLEU 변형, 보정 및 혼동도 프록시
- 정성적 평가: 인간-루프 점수 및 루브릭 설계
- 작업 특정 충실도 검사 및 수락 기준
자동화 테스트 및 회귀
- 프롬프트 및 구성 요소의 단위 테스트, 시나리오 및 종단 간 테스트
- 회귀 테스트 스위트 및 골든 예제 기준선 생성
- Ollama 모델 업데이트 및 자동화된 검증 게이트를 위한 CI/CD 통합
관측 가능성 및 모니터링
- 구조화된 로깅, 분산 추적 및 상관 ID
- 핵심 운영 지표: 지연 시간, 토큰 사용량, 오류율 및 품질 신호
- 경고, 대시보드 및 모델 지원 서비스에 대한 SLIs/SLOs
고급 원인 분석
- 그래프화된 프롬프트, 도구 호출 및 다중 턴 흐름 추적
- 비교 A/B 진단 및 제거 연구
- 데이터 출처, 데이터셋 디버깅 및 데이터셋 유도 실패 해결
안전성, 강인성 및 복구 전략
- 완화: 필터링, 근거, 검색 증강 및 프롬프트 스캐폴딩
- 모델 업데이트에 대한 롤백, 캐너리 및 단계적 롤아웃 패턴
- 사후 분석, 학습된 교훈 및 지속적인 개선 루프
요약 및 다음 단계
Requirements
- LLM 애플리케이션을 구축하고 배포하는 강력한 경험
- Ollama 워크플로우와 모델 호스팅에 대한 익숙함
- Python, Docker 및 기본 관찰 가능성 도구에 대한 편안함
Audience
- AI 엔지니어
- ML Ops 전문가
- 생산 LLM 시스템을 담당하는 QA 팀
35 Hours