Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

FinTagging: Benchmarking LLMs for Extracting and Structuring Financial Information

Created by
  • Haebom

저자

Yan Wang, Yang Ren, Lingfei Qian, Xueqing Peng, Keyi Wang, Yi Han, Dongji Feng, Fengran Mo, Shengyuan Lin, Qinchuan Zhang, Kaiwen He, Chenri Luo, Jianxing Chen, Junwei Wu, Jimin Huang, Guojun Xiong, Xiao-Yang Liu, Qianqian Xie, Jian-Yun Nie

개요

본 논문은 LLM(Large Language Model)의 재무 보고서 내 숫자 이해 능력을 평가하기 위한 FinTagging이라는 새로운 벤치마크를 소개합니다. XBRL을 활용한 재무 데이터 태깅의 복잡성을 고려하여, 수치 식별(FinNI) 및 개념 연결(FinCL)의 두 가지 하위 작업을 통해 구조화된 재무 사실 표현을 생성합니다. 이를 통해 LLM의 구조 인식 및 분류 능력을 평가하며, 결과적으로 LLM이 수치 식별에는 강하지만 세분화된 개념 연결에는 어려움을 겪는다는 것을 밝혀냅니다.

시사점, 한계점

시사점:
LLM의 재무 보고서 이해 능력을 평가하기 위한 새로운 벤치마크 FinTagging 제시.
구조화된 재무 사실 표현을 위한 FinNI 및 FinCL 하위 작업 정의.
LLM이 숫자 식별에는 강하지만 개념 연결에는 약하다는 점을 발견하여, LLM의 구조 인식 능력의 한계를 보여줌.
코드와 데이터셋을 공개하여 연구의 재현성 및 활용성을 높임.
한계점:
논문 내 LLM 모델의 세부적인 구조 및 학습 방식에 대한 정보 부족.
제한적인 Zero-shot 환경에서의 평가만 수행.
향후 연구를 위한 구체적인 개선 방향 제시 부족.
👍