코스 개요

Mastra 디버깅 및 평가의 기초

  • 에이전트 동작 모델과 실패 모드 이해
  • Mastra 내 핵심 디버깅 원칙
  • 결정론적 및 비결정론적 에이전트 동작 평가

에이전트 테스트를 위한 환경 설정

  • 테스트 샌드박스와 격리된 평가 공간 구성
  • 상세 분석을 위한 로그, 추적 정보 및 텔레메트리를 수집합니다.
  • 구조화된 테스트를 위해 데이터셋과 프롬프트 준비

AI 에이전트 동작 디버깅

  • 의사결정 경로와 내부 추론 신호 추적
  • 환영 현상, 오류 및 의도하지 않은 동작 식별
  • 원인 조사를 위한 관찰 대시보드 사용

평가 지표와 벤치마킹 프레임워크

  • 정량적 및 정성적 평가 지표 정의
  • 정확도, 일관성 및 문맥 적합성을 측정
  • 반복 가능한 평가를 위해 벤치마크 데이터셋 적용

AI 에이전트의 신뢰성 공학

  • 장기 실행 에이전트용 신뢰성 테스트 설계
  • 에이전트 성능의 이동 및 저하 탐지
  • 중요한 워크플로에 대한 보안 조치 구현

품질 보증 프로세스 및 자동화

  • 지속적인 평가를 위한 QA 파이프라인 구축
  • 에이전트 업데이트를 위한 회귀 테스트 자동화
  • CI/CD 및 기업 워크플로에 QA 통합

환영 현상 감소를 위한 고급 기법

  • 원하지 않는 출력을 줄이기 위한 프롬프팅 전략
  • 검증 루프 및 자기 체크 메커니즘
  • 신뢰성 향상을 위해 모델 조합 실험

보고, 모니터링 및 지속적인 개선

  • QA 보고서 및 에이전트 점수표 작성
  • 장기 동작 및 오류 패턴 모니터링
  • 진화하는 시스템을 위한 평가 프레임워크 개선

요약 및 다음 단계

요건

  • AI 에이전트 동작 및 모델 상호 작용에 대한 이해
  • 복잡한 소프트웨어 시스템을 디버깅하거나 테스트하는 경험이 있는 사람
  • 관찰 또는 로깅 도구에 익숙한 사람

대상자

  • QA 엔지니어
  • AI 신뢰성 엔지니어
  • 에이전트 품질과 성능에 책임이 있는 개발자
 21 시간

참가자 수


참가자당 가격

예정된 코스

관련 카테고리