연락처 정보
 기간 35 시간

코스 개요

도입 및 진단의 기초

  • LLM 시스템의 실패 모드 개요 및 Ollama 고유 문제점 파악
  • 재현 가능한 실험 및 통제된 환경 설정
  • 디버깅 도구セット: 로컬 로그, 요청/응답 캡처, 샌드박스 처리

실패 재현 및 격리

  • 최소 실패 사례 및 시드 생성 기법
  • 유 상태(Stateful) vs 무 상태(Stateless) 상호작용: 컨텍스트 관련 버그 격리
  • 결정론, 무작위성 및 비결정론적 행동 제어

행동 평가 및 지표

  • 정량적 지표: 정확도, ROUGE/BLEU 변형, 캘리브레이션, 퍼플렉서시 프록시
  • 정성적 평가: 인간 참여( Human-in-the-loop) 스코어링 및 평가 기준(Rubric) 설계
  • 태스크별 충실도 검증 및 수락 기준

자동화 테스트 및 회귀 분석

  • 프롬프트 및 컴포넌트 단위 테스트, 시나리오 및 엔드투엔드 테스트
  • 회귀 테스트 스위트 및 골든 예시 베이스라인 생성
  • Ollama 모델 업데이트 및 자동화 검증 게이트를 위한 CI/CD 통합

관측 가능성 및 모니터링

  • 구조화 로깅, 분산 추적, 상관 ID
  • 주요 운영 지표: 지연 시간, 토큰 사용량, 에러율, 품질 신호
  • 모델 백본 서비스를 위한 알람, 대시보드, SLI/SLO

고급 근본 원인 분석

  • 그래프화 된 프롬프트, 도구 호출, 멀티턴 플로우 추적
  • 비교 A/B 진단 및 아블레이션 연구
  • 데이터 출처, 데이터셋 디버깅 및 데이터셋 유도 실패 처리

안전, 견고성 및 교정 전략

  • 완화 조치: 필터링, 그라운딩, 검색 증강, 프롬프트 스캐폴딩
  • 모델 업데이트를 위한 롤백, 카나리 배포, 단계적 롤아웃 패턴
  • 포스트모템, 교훈, 지속적 개선 루프

요약 및 다음 단계

요건

  • LLM 애플리케이션 구축 및 배포에 대한 풍부한 경험
  • Ollama 워크플로우 및 모델 호스팅에 대한 이해
  • Python, Docker, 기본 관측 가능성 도구에 대한 숙지

대상 독자

  • AI 엔지니어
  • MLOps 전문가
  • 프로덕션 LLM 시스템을 책임지는 QA 팀

참가자 수


참가자별 가격

예정된 코스

관련 카테고리