Structuring the Unstructured: A Multi-Agent System for Extracting and Querying Financial KPIs and Guidance
Created by
Haebom
저자
Chanyeol Choi, Alejandro Lopez-Lira, Jihoon Kwon, Minjae Kim, Juneha Hwang, Minsoo Ha, Chaewoon Kim, Jaeseon Ha, Suyeol Yun, Jin Kim
개요
본 논문은 비정형 금융 보고서에서 구조화되고 정량적인 통찰력을 효율적이고 확장 가능하게 추출하는 방법을 제시합니다. 대규모 언어 모델 기반의 다중 에이전트 시스템을 활용하여, '추출 에이전트'는 주요 성과 지표(KPI)를 자동으로 식별하고 표준화하며 정확성을 검증하고, 'Text-to-SQL 에이전트'는 자연어 질의로부터 실행 가능한 SQL 문을 생성합니다. 실험 결과, 본 시스템은 약 95%의 정확도로 비정형 텍스트를 구조화된 데이터로 변환하고, 자연어 질의를 통한 정보 검색에서도 91%의 정확도를 달성함을 보여줍니다. 다양한 금융 문서 유형에서 일관되게 높은 성능을 보입니다.
시사점, 한계점
•
시사점:
◦
비정형 금융 보고서에서 정량적 정보 추출의 효율성 및 확장성을 크게 향상시킬 수 있습니다.
◦
수작업에 의존하는 기존 방식의 한계를 극복하고 투자 연구 워크플로우를 가속화할 수 있습니다.
◦
대규모 언어 모델 기반의 다중 에이전트 시스템의 효과적인 활용 사례를 제시합니다.
◦
자연어 질의를 통한 데이터 접근을 용이하게 하여 데이터베이스 스키마에 대한 전문 지식이 없는 사용자도 정확한 정보 검색이 가능합니다.
•
한계점:
◦
본 논문에서는 시스템의 정확도가 높다고 주장하지만, 실제 운영 환경에서의 장기적인 성능과 안정성에 대한 검증이 추가적으로 필요합니다.
◦
특정 유형의 금융 보고서에 대한 과적합 가능성과 다양한 금융 용어 및 표현에 대한 일반화 능력에 대한 추가 연구가 필요합니다.
