FinRetrieval: A Benchmark for Financial Data Retrieval by AI Agents

Created by

Haebom

저자

Eric Y. Kim, Jie Huang

💡 개요

본 논문은 AI 에이전트가 재무 데이터를 정확하게 검색하는 능력을 평가하기 위한 최초의 벤치마크인 FinRetrieval을 제안합니다. 500개의 재무 질문과 실제 데이터를 포함하는 이 벤치마크를 통해 AI 에이전트의 성능을 평가한 결과, 구조화된 데이터 API 사용이 웹 검색 단독 사용보다 월등히 높은 성능을 보였습니다. 특히, 도구 사용 가능성이 성능에 가장 큰 영향을 미쳤으며, 모델별 추론 능력과 기초 능력 간의 상호작용 또한 분석했습니다.

🔑 시사점 및 한계

•

AI 에이전트의 재무 데이터 검색 능력은 사용 가능한 도구(API 등)의 접근성에 크게 좌우되며, 단순 웹 검색만으로는 한계가 명확합니다.

•

추론 모드의 성능 향상은 모델의 기본적인 기능과 상호 작용하며, 기초 능력이 낮은 모델에서 더 큰 향상을 기대할 수 있습니다.

•

지리적 성능 차이는 모델 자체의 한계보다는 회계 연도 명명 규칙과 같은 데이터의 특성에서 비롯되는 경우가 많습니다.

•

FinRetrieval 벤치마크, 평가 코드, 도구 사용 흔적을 공개하여 재무 AI 시스템 연구를 촉진하고자 합니다.

PDF 보기

Made with Slashpage