본 논문은 다양한 분야에서 에이전트 워크플로우 채택이 증가함에 따라 이 시스템이 생성하는 복잡한 추적을 확장 가능하고 체계적으로 평가할 필요성을 강조한다. 기존 평가 방식은 워크플로우 추적의 수동적이고 도메인 특정적인 사람의 분석에 의존하는데, 이는 에이전트 출력의 복잡성과 양이 증가함에 따라 확장성이 떨어진다. 본 연구에서는 (1) 에이전트 워크플로우 추적을 위한 강력하고 동적인 평가 방법의 필요성을 명확히 하고, (2) 에이전트 시스템에서 발생하는 오류 유형의 공식적인 분류 체계를 제시하며, (3) 이 분류 체계를 기반으로 구축된 148개의 대규모 인간 주석 추적 데이터셋(TRAIL)을 소개한다. TRAIL은 소프트웨어 엔지니어링 및 오픈 월드 정보 검색과 같은 실제 응용 프로그램에 초점을 맞춰 단일 및 다중 에이전트 시스템 모두에서 추적을 큐레이팅하여 생태학적 타당성을 보장한다. 평가 결과, 최신 장문 컨텍스트 LLM은 추적 디버깅에서 성능이 저조하며, Gemini-2.5-pro 모델이 TRAIL에서 11%의 점수를 기록하는 것으로 나타났다. 본 논문에서는 데이터셋과 코드를 공개하여 에이전트 워크플로우에 대한 확장 가능한 평가 분야의 미래 연구를 지원하고 가속화한다.
