Deep Research Comparator: A Platform For Fine-grained Human Annotations of Deep Research Agents
Created by
Haebom
저자
Prahaladh Chandrahasan, Jiahe Jin, Zhihan Zhang, Tevin Wang, Andy Tang, Lucy Mo, Morteza Ziyadi, Leonardo F. R. Ribeiro, Zimeng Qiu, Markus Dreyer, Akari Asai, Chenyan Xiong
개요
본 논문은 웹 검색, 정보 분석, 보고서 생성을 자율적으로 수행하는 심층 연구 에이전트의 효과적인 평가를 위한 플랫폼인 'Deep Research Comparator'를 제시한다. 이 플랫폼은 두 개의 에이전트의 최종 보고서와 중간 단계를 나란히 비교하여 평가할 수 있도록 하며, 어노테이터는 최종 보고서의 전반적인 품질과 중간 단계 또는 특정 텍스트 구간에 대한 세부 피드백을 제공할 수 있다. 또한, 다양한 대규모 언어 모델을 심층 연구 에이전트로 쉽게 변환할 수 있도록 지원하는 엔드투엔드 에이전트 스캐폴드인 'Simple Deepresearch'를 개발하였다. 17명의 어노테이터를 통해 세 개의 심층 연구 에이전트에 대한 실제 사용자 선호도 데이터를 수집하여 플랫폼의 유용성을 입증하였다.