Sign In

Metadata-Driven Retrieval-Augmented Generation for Financial Question Answering

Created by
  • Haebom
Category
Empty

저자

Michail Dadopoulos, Anestis Ladas, Stratos Moschidis, Ioannis Negkakis

개요

본 논문은 검색 증강 생성(RAG)이 장문의 구조화된 재무 보고서에서 겪는 어려움을 해결하기 위해 고급 메타데이터 기반 RAG 기술을 체계적으로 연구한다. LLM이 생성한 메타데이터를 활용하는 다단계 RAG 아키텍처를 제안하고 평가하며, FinanceBench 데이터셋을 사용하여 사전 검색 필터링, 사후 검색 재순위화, 풍부한 임베딩 등 다양한 향상 기법을 벤치마킹한다. 특히, 텍스트와 함께 메타데이터를 직접 임베딩하는 "컨텍스트 청크"가 가장 큰 성능 향상을 가져다준다는 것을 발견했다. 또한, 상업적 솔루션에 대한 비용 효율적인 대안으로 맞춤형 메타데이터 재순위화기를 제시한다.

시사점, 한계점

시사점:
장문의 구조화된 재무 보고서 분석에 적합한 메타데이터 기반 RAG 시스템 구축을 위한 청사진 제시.
LLM-생성 메타데이터와 컨텍스트 임베딩을 활용하여 RAG 시스템의 성능을 향상시키는 방법 제시.
맞춤형 메타데이터 재순위화기를 통해 상업적 솔루션보다 비용 효율적인 대안 제시.
한계점:
FinanceBench 데이터셋에 국한된 실험.
최적 아키텍처의 일반화 가능성에 대한 추가 연구 필요.
특정 재무 문서 분석에 초점을 맞춘 연구.
👍