FinTMMBench: Benchmarking Temporal-Aware Multi-Modal RAG in Finance
Created by
- Haebom
Category
Empty
저자
Fengbin Zhu, Junfeng Li, Liangming Pan, Wenjie Wang, Fuli Feng, Chao Wang, Huanbo Luan, Tat-Seng Chua
개요
본 논문은 금융 의사결정을 위한 시간 인식 다중 모달 검색 증강 생성(RAG) 시스템을 평가하기 위한 첫 번째 종합적인 벤치마크인 FinTMMBench를 소개합니다. FinTMMBench는 NASDAQ 100 기업의 이종 데이터로 구축되며, 다중 모달 말뭉치(금융 표, 뉴스 기사, 일별 주가, 시각적 기술 차트 포함), 시간 인식 질문(일별, 주별, 월별, 분기별, 연간 기간 포함), 다양한 금융 분석 작업(정보 추출, 추세 분석, 감정 분석, 이벤트 탐지 등 10가지 작업 포함)의 세 가지 주요 장점을 제공합니다. 또한, 다른 모달리티의 데이터를 텍스트 형식으로 변환하고 그래프 및 밀집 색인을 구성할 때 각 노드에 시간 정보를 통합하는 새로운 TMMHybridRAG 방법을 제안합니다. 광범위한 실험을 통해 그 효과를 검증했지만, FinTMMBench가 제시하는 과제를 강조하는 주목할 만한 격차가 남아 있습니다.
시사점, 한계점
•
시사점:
◦
금융 분야에서 시간 인식 다중 모달 RAG 시스템 평가를 위한 최초의 종합적인 벤치마크 FinTMMBench 제공.
◦
다양한 금융 분석 작업을 포괄하는 다중 모달, 시간 인식 질문 세트 제공.
◦
시간 정보를 통합하는 새로운 TMMHybridRAG 방법 제안 및 그 효과성 검증.
•
한계점:
◦
FinTMMBench에서 여전히 해결해야 할 과제가 존재함. (구체적인 한계점은 논문에서 명시적으로 언급되지 않음)
