문의를 보내주셔서 감사합니다! 팀원이 곧 연락드리겠습니다.
예약을 보내주셔서 감사합니다! 저희 팀 멤버 중 한 분이 곧 연락드리겠습니다.
코스 개요
Mastra 디버깅 및 평가의 기초
- 에이전트 동작 모델과 실패 모드 이해
- Mastra 내 핵심 디버깅 원칙
- 결정론적 및 비결정론적 에이전트 동작 평가
에이전트 테스트를 위한 환경 설정
- 테스트 샌드박스와 격리된 평가 공간 구성
- 상세 분석을 위한 로그, 추적 정보 및 텔레메트리를 수집합니다.
- 구조화된 테스트를 위해 데이터셋과 프롬프트 준비
AI 에이전트 동작 디버깅
- 의사결정 경로와 내부 추론 신호 추적
- 환영 현상, 오류 및 의도하지 않은 동작 식별
- 원인 조사를 위한 관찰 대시보드 사용
평가 지표와 벤치마킹 프레임워크
- 정량적 및 정성적 평가 지표 정의
- 정확도, 일관성 및 문맥 적합성을 측정
- 반복 가능한 평가를 위해 벤치마크 데이터셋 적용
AI 에이전트의 신뢰성 공학
- 장기 실행 에이전트용 신뢰성 테스트 설계
- 에이전트 성능의 이동 및 저하 탐지
- 중요한 워크플로에 대한 보안 조치 구현
품질 보증 프로세스 및 자동화
- 지속적인 평가를 위한 QA 파이프라인 구축
- 에이전트 업데이트를 위한 회귀 테스트 자동화
- CI/CD 및 기업 워크플로에 QA 통합
환영 현상 감소를 위한 고급 기법
- 원하지 않는 출력을 줄이기 위한 프롬프팅 전략
- 검증 루프 및 자기 체크 메커니즘
- 신뢰성 향상을 위해 모델 조합 실험
보고, 모니터링 및 지속적인 개선
- QA 보고서 및 에이전트 점수표 작성
- 장기 동작 및 오류 패턴 모니터링
- 진화하는 시스템을 위한 평가 프레임워크 개선
요약 및 다음 단계
요건
- AI 에이전트 동작 및 모델 상호 작용에 대한 이해
- 복잡한 소프트웨어 시스템을 디버깅하거나 테스트하는 경험이 있는 사람
- 관찰 또는 로깅 도구에 익숙한 사람
대상자
- QA 엔지니어
- AI 신뢰성 엔지니어
- 에이전트 품질과 성능에 책임이 있는 개발자
21 시간