본 연구는 금융 및 회계 연구에서 대규모 언어 모델(LLM) 출력의 일관성과 재현성에 대한 최초의 종합적인 평가를 제공합니다. 5가지 일반적인 작업(분류, 감정 분석, 요약, 텍스트 생성, 예측)에 걸쳐 50회의 독립적인 실행을 통해 동일한 입력값에 대해 LLM이 얼마나 일관되게 출력을 생성하는지 평가합니다. 세 가지 OpenAI 모델(GPT-3.5-turbo, GPT-4o-mini, GPT-4o)을 사용하여 MD&A, FOMC 성명서, 금융 뉴스 기사, 실적 발표 녹취록 및 재무 제표를 포함한 다양한 금융 소스 텍스트 및 데이터에서 340만 개 이상의 출력을 생성합니다. 연구 결과, 이진 분류 및 감정 분석은 거의 완벽한 재현성을 달성하는 반면 복잡한 작업은 더 큰 변동성을 보이는 등 작업에 따라 상당하지만 작업 의존적인 일관성이 나타납니다. 더욱 발전된 모델이 일관되게 더 나은 일관성과 재현성을 보여주는 것은 아니며, 작업별 패턴이 나타납니다. LLM은 일관성 측면에서 전문가 인간 주석자보다 훨씬 뛰어나며, 인간 전문가가 상당히 의견이 다른 경우에도 높은 일치도를 유지합니다. 또한 3~5회 실행에 대한 간단한 집계 전략을 통해 일관성이 크게 향상됨을 발견했습니다. 또한 새로운 모델을 사용할 때 감정 분석의 정확도 향상이라는 추가적인 이점을 얻을 수 있음을 발견했습니다. 시뮬레이션 분석 결과, LLM 출력의 측정 가능한 불일치에도 불구하고 하류 통계적 추론은 매우 견고하게 유지됩니다. 이러한 결과는 여러 생성형 AI 실행에서 유리한 결과를 선택적으로 보고하는 "G-hacking"이라는 문제에 대해, 금융 및 회계 작업의 경우 그러한 위험이 상대적으로 낮음을 보여줌으로써 해결합니다.
