Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Deep Research Comparator: A Platform For Fine-grained Human Annotations of Deep Research Agents

Created by
  • Haebom

저자

Prahaladh Chandrahasan, Jiahe Jin, Zhihan Zhang, Tevin Wang, Andy Tang, Lucy Mo, Morteza Ziyadi, Leonardo F. R. Ribeiro, Zimeng Qiu, Markus Dreyer, Akari Asai, Chenyan Xiong

개요

본 논문은 웹 검색, 정보 분석, 보고서 생성을 자율적으로 수행하는 심층 연구 에이전트의 효과적인 평가를 위한 플랫폼인 'Deep Research Comparator'를 제시한다. 이 플랫폼은 두 개의 에이전트의 최종 보고서와 중간 단계를 나란히 비교하여 평가할 수 있도록 하며, 어노테이터는 최종 보고서의 전반적인 품질과 중간 단계 또는 특정 텍스트 구간에 대한 세부 피드백을 제공할 수 있다. 또한, 다양한 대규모 언어 모델을 심층 연구 에이전트로 쉽게 변환할 수 있도록 지원하는 엔드투엔드 에이전트 스캐폴드인 'Simple Deepresearch'를 개발하였다. 17명의 어노테이터를 통해 세 개의 심층 연구 에이전트에 대한 실제 사용자 선호도 데이터를 수집하여 플랫폼의 유용성을 입증하였다.

시사점, 한계점

시사점:
심층 연구 에이전트의 성능 평가를 위한 종합적인 프레임워크 제공
최종 보고서와 중간 단계에 대한 세분화된 피드백 수집 가능
다양한 대규모 언어 모델의 심층 연구 에이전트로의 손쉬운 통합 지원
실제 사용자 선호도 데이터를 통한 플랫폼 유용성 검증
한계점:
제시된 플랫폼 및 스캐폴드의 일반화 가능성에 대한 추가적인 연구 필요
어노테이터 수(17명)가 상대적으로 적어 결과의 일반화에 대한 제한 존재
평가 기준 및 어노테이션 가이드라인의 객관성 및 신뢰성에 대한 추가적인 검토 필요
👍