FinMR은 전문가 수준의 금융 분석 능력을 평가하기 위해 설계된 고품질 지식 집약적 멀티모달 데이터셋이다. FinMR은 15개의 다양한 금융 주제에 걸쳐 3,200개 이상의 정교하게 큐레이션되고 전문적으로 주석이 달린 질문-답변 쌍으로 구성되어 있으며, 광범위한 도메인 다양성을 보장하고 복잡한 수학적 추론, 고급 금융 지식 및 여러 이미지 유형에 걸쳐 미묘한 시각적 해석 작업을 통합한다.
시사점, 한계점
•
전문가 수준의 금융 분석 능력을 평가하기 위한 새로운 멀티모달 데이터셋(FinMR) 개발.
•
다양한 금융 주제, 복잡한 수학적 추론, 고급 금융 지식, 미묘한 시각적 해석 작업을 포함하는 데이터셋 구성.
•
선도적인 MLLMs(Multimodal Large Language Models)과의 벤치마킹을 통해 모델 성능의 격차를 확인하고 개선 영역을 제시.
•
주요 개선 영역: 이미지 분석, 복잡한 금융 공식의 정확한 적용, 컨텍스트적 금융 이해.
•
데이터셋 개발 및 벤치마킹에 초점을 맞추어, 모델의 실제 적용 가능성이나 새로운 기술 개발에 대한 내용은 제한적일 수 있음.
