Language-Routed RAG and Direct Option Scoring for Multilingual Financial QA: DS@GT at FinMMEval
작성자
카테고리
Empty
저자
Justice Ayela, Kabir Sahni
💡 개요
본 연구는 다국어 금융 질문 답변(QA) 문제를 해결하기 위해 언어 감지, 특화된 지식 검색, 직접 옵션 점수화 방식을 결합한 DS@GT의 FinMMEval 2026 Task 1 참여 시스템을 소개합니다. 제안된 시스템은 BGE-M3 임베딩과 FAISS 인덱싱을 활용하여 다국어 지식 베이스에서 관련 정보를 검색하고, 생성 방식 대신 후보 옵션의 다음 토큰 확률을 평가하는 RADS(Retrieval-Augmented Direct Scoring)를 통해 답변을 평가합니다. 특히, 저자원 언어에 대한 검색 성능 향상을 위해 언어별 및 교차 언어 검색 인덱스를 융합하고, 언어별 모델 라우팅을 통해 최적의 성능을 달성했습니다.
🔑 시사점 및 한계
•
다국어 금융 QA에서 언어별 특성을 고려한 검색 전략(언어 감지, 인덱스 융합)이 중요하며, 언어에 따라 모델 라우팅 및 점수화 전략을 달리해야 효과적인 성능을 얻을 수 있습니다.
•
Chain-of-Thought(CoT) 프롬프팅이 특정 언어(예: 그리스어)에서는 정확도를 크게 저하시킬 수 있으며, 모델의 기본 추론 모드도 성능에 부정적인 영향을 미칠 수 있음을 보여줍니다.
•
본 연구는 제한된 언어와 금융 도메인에 초점을 맞추었으며, 향후 더 넓은 범위의 언어와 도메인으로 확장하고, 언어별 성능 격차의 근본적인 원인을 탐구하며, 다양한 모델 및 점수화 전략의 효과를 체계적으로 분석하는 것이 필요합니다.
