본 논문은 금융, 법률, 의료 등 논리적 정확성이 중요한 분야에서 대규모 언어 모델(LLM)의 신뢰성 평가의 어려움을 해결하기 위해, 실제 금융 애플리케이션에 특화된 새로운 벤치마크인 BizFinBench를 제시한다. BizFinBench는 수치 계산, 추론, 정보 추출, 예측 인식, 지식 기반 질의응답 등 5가지 차원에 걸쳐 6,781개의 잘 주석이 달린 중국어 질의를 포함하며, 9개의 세분화된 범주로 그룹화되어 있다. 객관적 및 주관적 지표를 모두 포함하며, LLM이 객관적 지표 평가자 역할을 할 때 편향을 줄이는 새로운 LLM 평가 방법인 IteraJudge도 소개한다. 25개의 모델(독점 및 오픈소스)을 벤치마크하여, 어떤 모델도 모든 작업에서 우수한 성능을 보이지 않음을 확인하고, 각 작업별로 모델의 성능 차이를 분석한다. 현재 LLM은 일상적인 금융 질의에는 능숙하지만, 개념 간의 추론이 필요한 복잡한 시나리오에는 어려움을 겪는다는 것을 발견하였다. BizFinBench는 향후 연구를 위한 엄격하고 비즈니스 중심의 벤치마크를 제공하며, 코드와 데이터셋은 공개되어 있다.
