연락처 정보

코스 개요

서론 및 진단 기초

  • LLM 시스템에서 자주 발생하는 오류 유형과 Ollama 특유의 문제점 소개
  • 재현 가능한 실험 설계와 통제된 실행 환경 구축 방법
  • 로컬 로그 분석, 요청/응답 기록 수집 및 샌드박스 활용 등 디버깅 도구 설명

오류 재현 및 격리 방법

  • 최소한의 조건으로 오류를 일으키는 예제와 시드 데이터 생성 기법
  • 상태 보존형/비보존형 상호작용 구분: 맥락 의존적 버그 분리 전략
  • 결정론적 동작 유지를 위한 무작위 요소 통제 방법

모델 행동 평가와 지표 정의

  • 정확도, ROUGE/BLEU 계수 및 퍼플렉시티 측정값과 같은 양적 지표 활용법
  • 인간 피드백을 통한 질적 평가 기준 설계와 점수 매기기 절차
  • 각 작업별 정확성 검증 체크리스트 및 승인 기준 확립 방법

자동화된 테스트와 회귀 관리

  • 프롬프트 단위 및 전체 시스템 레벨에서의 유닛 테스트, 시나리오 기반 테스트 설계
  • 회귀 테스트 세트 구성과 기준 샘플 데이터베이스 생성 절차
  • Ollama 모델 업데이트에 대응한 CI/CD 통합 및 자동 검증 파이프라인 운영 방안

관측 체계 구축 및 모니터링 기법

  • 구조화된 로그 관리, 분산 추적 시스템 활용 및 상관 관계 식별 방법
  • 지연 시간, 토큰 사용량, 오류 비율 및 품질 지표 등 핵심 운영 데이터 수집 전략
  • 경보 체계 구성과 대시보드 설계, 서비스 수준 목표(SLO) 달성도 측정법

고급 원인 분석 기법

  • 복잡한 프롬프트 구조와 도구 호출 과정을 역추적하는 방법론
  • A/B 비교 실험 및 요소별 효과 분리 연구 접근 방식
  • 데이터 소스 추적, 데이터셋 분석을 통한 결함 원인 파악 기술

안전성 확보와 대응 전략

  • 입력 필터링, 외부 정보 기반 보완 및 프롬프트 설계 최적화 등 예방 조치 소개
  • 모델 업데이트 시 롤백 계획과 점진적 배포 절차 실천 사례
  • 사후 분석 보고서 작성법 및 시스템 개선 프로세스 운영 가이드라인

요약 및 향후 나아갈 방향

요건

  • LLM 기반 애플리케이션 개발 및 배포 경험이 풍부해야 합니다.
  • Ollama 워크플로우와 모델 호스팅 방식에 대한 이해가 필요합니다.
  • Python, Docker 및 기본적인 관측 도구 사용 능력이 요구됩니다.

수강 대상

  • AI 엔지니어
  • ML Ops 전문가
  • 생산 환경에서 LLM 시스템 품질 관리를 담당하는 QA 팀원들
 35 시간

참가자 수


참가자별 가격

예정된 코스

관련 카테고리