문의를 보내주셔서 감사합니다! 팀원이 곧 연락드리겠습니다.
예약을 보내주셔서 감사합니다! 저희 팀 멤버 중 한 분이 곧 연락드리겠습니다.
기간 21 시간
코스 개요
Mastra 디버깅 및 평가의 기초
- 에이전트 행동 모델 및 실패 모드 이해
- Mastra 내 핵심 디버깅 원칙
- 결정론적 및 비결정론적 에이전트 행동 평가
에이전트 테스트 환경 설정
- 테스트 샌드박스 및 격리된 평가 공간 구성
- 상세 분석을 위한 로그, 트레이스 및 텔레메트리 수집
- 구조화된 테스트를 위한 데이터셋 및 프롬프트 준비
AI 에이전트 행동 디버깅
- 결정 경로 및 내부 추론 시그널 추적
- 할루시네이션, 오류 및 의도되지 않은 행동 식별
- 옵저버빌리티 대시보드를 활용한 근본 원인 조사
평가 지표 및 벤치마킹 프레임워크
- 정량적 및 정성적 평가 지표 정의
- 정확성, 일관성 및 문맥 준수 정도 측정
- 반복 가능한 평가를 위한 벤치마크 데이터셋 적용
AI 에이전트 신뢰성 엔지니어링
- 장시간 실행 에이전트를 위한 신뢰성 테스트 설계
- 에이전트 성능의 드리프트 및 열화 감지
- 비판적 워크플로의 안전장치 구현
품질 보증 프로세스 및 자동화
- 지속적 평가를 위한 QA 파이프라인 구축
- 에이전트 업데이트를 위한 회귀 테스트 자동화
- QA를 CI/CD 및 엔터프라이즈 워크플로와 통합
할루시네이션 감소的高级 기법
- 불필요한 출력을 줄이는 프롬프팅 전략
- 검증 루프 및 자체 점검 메커니즘
- 신뢰성 향상을 위한 모델 조합 실험
보고, 모니터링 및 지속적 개선
- QA 보고서 및 에이전트 스코어카드 개발
- 장기적 행동 및 오류 패턴 모니터링
- 진화하는 시스템을 위한 평가 프레임워크 반복 개선
요약 및 다음 단계
요건
- AI 에이전트 행동 및 모델 상호작용에 대한 이해
- 복잡한 소프트웨어 시스템의 디버깅 또는 테스트 경험
- 옵저버빌리티 또는 로깅 도구 숙련도
대상 독자층
- QA 엔지니어
- AI 신뢰성 엔지니어
- 에이전트 품질 및 성능 관리 담당 개발자
