Structuring the Unstructured: A Multi-Agent System for Extracting and Querying Financial KPIs and Guidance
Created by
Haebom
저자
Chanyeol Choi, Jihoon Kwon, Minjae Kim, Juneha Hwang, Minsoo Ha, Chaewoon Kim, Jaeseon Ha, Suyeol Yun, Jin Kim
개요
본 논문에서는 비정형 금융 보고서에서 구조적이고 정량적인 통찰력을 효율적이고 확장 가능하게 추출하는 방법을 제안합니다. 대규모 언어 모델 기반의 다중 에이전트 시스템을 활용하여, '추출 에이전트'는 주요 성과 지표(KPI)를 식별하고 표준화하며 정확성을 검증하고, 'Text-to-SQL 에이전트'는 자연어 질의를 실행 가능한 SQL 문으로 변환하여 사용자가 데이터베이스 스키마에 대한 지식 없이 구조화된 데이터에 정확하게 접근할 수 있도록 합니다. 실험 결과, 제안된 시스템은 비정형 텍스트를 구조화된 데이터로 정확하게 변환하고 주요 정보를 정확하게 검색하는 데 효과적임을 보여줍니다. 금융 보고서를 구조화된 데이터로 변환하는 정확도는 약 95%이며, 자연어 질의를 사용한 정보 검색 과제에서 인간 평가자의 91%가 정확하다고 평가했습니다.
시사점, 한계점
•
시사점:
◦
비정형 금융 보고서에서 정량적 정보 추출의 효율성 및 확장성을 크게 향상시킬 수 있습니다.
◦
대규모 언어 모델을 활용하여 인간 수준의 정확도를 달성합니다.
◦
전문적인 데이터베이스 지식 없이도 자연어 질의를 통해 데이터에 접근 가능합니다.
◦
다양한 금융 문서 유형에 대해 일관된 성능을 제공합니다.
•
한계점:
◦
현재 시스템의 성능 평가는 제한된 규모의 데이터셋에 기반합니다. 더욱 광범위한 데이터셋에 대한 추가적인 검증이 필요합니다.
