문의를 보내주셔서 감사합니다! 팀원이 곧 연락드리겠습니다.
예약을 보내주셔서 감사합니다! 저희 팀 멤버 중 한 분이 곧 연락드리겠습니다.
기간 35 시간
코스 개요
서론 및 진단의 기초
- LLM 시스템의 실패 모드 개요 및 Ollama 관련 일반적 문제점
- 재현 가능한 실험 및 제어 환경 구축
- 디버깅 도구 세트: 로컬 로그, 요청/응답 캡처, 샌드박싱
실패 재현 및 격리
- 최소한의 실패 사례 및 시드 생성 기법
- 상태 유지(Stateful) vs 상태 없음(Stateless) 상호작용: 컨텍스트 관련 버그 격리
- 결정론, 무작위성 및 비결정론적 동작 제어
동작 평가 및 지표
- 정량적 지표: 정확도, ROUGE/BLEU 변형, 보정(Calibration), 퍼플렉시티 프록시
- 정성적 평가: 휴먼-인-더-루프(Human-in-the-loop) 점수화 및 루브릭 설계
- 태스크별 정확성 검증 및 수용 기준
자동화 테스트 및 회귀 분석
- 프롬프트 및 컴포넌트에 대한 단위 테스트, 시나리오 및 엔드투엔드 테스트
- 회귀 테스트 스위트 및 골든 예시 베이스라인 작성
- Ollama 모델 업데이트 및 자동화 검증 게이트를 위한 CI/CD 통합
관찰 가능성 및 모니터링
- 구조화 된 로깅, 분산 추적, 상관 ID
- 핵심 운영 지표: 지연 시간, 토큰 사용량, 오류율, 품질 시그널
- 모델 기반 서비스의 알림, 대시보드, SLI/SLO
고급 근본 원인 분석
- 그래프화된 프롬프트, 도구 호출, 다중 턴 플로우 추적
- 비교 A/B 진단 및 압제(Ablation) 연구
- 데이터 프로브넌스, 데이터셋 디버깅 및 데이터셋 유도 실패 해결
안전성, 견고성 및 시정 전략
- 완화 전략: 필터링, 그라운딩, 검색 증강, 프롬프트 스캐폴딩
- 모델 업데이트를 위한 롤백, 캐너리, 단계적 롤아웃 패턴
- 사후 분석(Post-mortem), 교훈, 지속적 개선 루프
요약 및 다음 단계
요건
- LLM 애플리케이션 구축 및 배포에 대한 풍부한 경험
- Ollama 워크플로 및 모델 호스팅에 대한 숙지
- Python, Docker 및 기본적인 관찰 가능성 도구 사용에 대한 친숙함
대상 독자
- AI 엔지니어
- MLOps 전문가
- 프로덕션 LLM 시스템을 담당하는 QA 팀