본 논문은 금융 분야에서 지식 집약적 과제에 탁월한 성능을 보이는 RAG(Retrieval-augmented generation) 기반의 거대 언어 모델(LLM)의 한계점을 해결하기 위해 HiREC(Hierarchical Retrieval with Evidence Curation) 프레임워크를 제안한다. 기존 RAG 방법론이 유사한 형식의 표준화된 문서(예: SEC 제출 서류) 내 중복된 텍스트를 잘못 식별하는 문제를 해결하고자, 계층적 검색을 통해 관련 문서를 먼저 검색하고, 그 후 가장 관련성이 높은 구절을 선택하는 방식을 채택한다. 또한, 불필요한 구절을 제거하고 필요시 추가 정보를 수집하기 위한 보완 질의를 자동 생성하는 증거 관리 과정을 포함한다. 제안된 방법론의 평가를 위해 145,897개의 SEC 문서와 1,595개의 질의응답 쌍으로 구성된 대규모 개방형 금융 질의응답 벤치마크(LOFin)를 구축하여 공개한다.
