Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

TRAIL: Trace Reasoning and Agentic Issue Localization

Created by
  • Haebom

저자

Darshan Deshpande, Varun Gangal, Hersh Mehta, Jitin Krishnan, Anand Kannappan, Rebecca Qian

개요

본 논문은 다양한 분야에서 에이전트 워크플로우의 채택 증가에 따라 복잡한 시스템 추적을 확장 가능하고 체계적으로 평가할 필요성을 강조한다. 기존의 평가 방법은 긴 워크플로우 추적에 대한 수동적이고 도메인 특정적인 사람의 분석에 의존하는데, 이는 복잡성과 에이전트 출력량의 증가에 따라 확장성이 떨어진다. 본 논문에서는 에이전트 워크플로우 추적을 위한 강력하고 동적인 평가 방법의 필요성을 제기하고, 에이전트 시스템에서 발생하는 오류 유형에 대한 공식적인 분류 체계를 제시하며, 이 분류 체계를 기반으로 구축된 148개의 대규모 인간 주석 추적(TRAIL) 데이터셋을 소개한다. TRAIL 데이터셋은 소프트웨어 엔지니어링 및 오픈 월드 정보 검색과 같은 실제 응용 프로그램에 중점을 두고 단일 및 다중 에이전트 시스템 모두에서 추적을 큐레이션하여 생태학적 타당성을 보장한다. 평가 결과, 최신 장문 컨텍스트 LLM은 추적 디버깅에서 성능이 저조하며, Gemini-2.5-pro 모델의 정확도는 11%에 불과함을 보여준다. 본 논문에서는 TRAIL 데이터셋과 코드를 공개하여 에이전트 워크플로우의 확장 가능한 평가에 대한 미래 연구를 지원하고 가속화한다.

시사점, 한계점

시사점:
에이전트 시스템의 오류 분석을 위한 공식적인 분류 체계를 제시하여 체계적인 평가를 가능하게 함.
실제 응용 프로그램을 기반으로 한 대규모 주석 데이터셋(TRAIL)을 제공하여 향후 연구를 위한 기반 마련.
현존하는 최신 LLM의 에이전트 워크플로우 추적 디버깅 성능의 한계를 밝힘.
에이전트 워크플로우 평가 분야의 연구를 가속화할 수 있는 공개 데이터셋 및 코드 제공.
한계점:
TRAIL 데이터셋의 규모가 향후 더욱 다양하고 복잡한 에이전트 시스템을 평가하기에는 충분하지 않을 수 있음.
현재의 오류 분류 체계가 모든 유형의 에이전트 시스템 오류를 포괄하지 못할 수 있음.
평가에 사용된 LLM의 성능이 향후 발전에 따라 변화할 가능성이 있음.
👍