본 연구는 금융 및 회계 연구에서 대규모 언어 모델(LLM) 출력의 일관성과 재현성에 대한 최초의 포괄적인 평가를 제공합니다. 5가지 일반적인 작업(분류, 감정 분석, 요약, 텍스트 생성, 예측)에 걸쳐 50회의 독립 실행을 통해 동일한 입력값에 대해 LLM이 얼마나 일관되게 출력을 생성하는지 평가했습니다. 세 가지 OpenAI 모델(GPT-3.5-turbo, GPT-4o-mini, GPT-4o)을 사용하여 MD&A, FOMC 성명서, 금융 뉴스 기사, 실적 발표 녹취록, 재무제표 등 다양한 금융 소스 텍스트와 데이터에서 340만 개 이상의 출력을 생성했습니다. 연구 결과, 이진 분류 및 감정 분석은 거의 완벽한 재현성을 달성했지만 복잡한 작업에서는 변동성이 더 크다는 점을 감안할 때 상당하지만 작업에 따라 다른 일관성이 드러났습니다. 더 고급 모델이 일관성과 재현성을 더 잘 보여주는 것은 아니며 작업별 패턴이 나타났습니다. LLM은 일관성 측면에서 전문가 인간 주석자보다 훨씬 뛰어나며 인간 전문가가 크게 의견이 다른 경우에도 높은 일치도를 유지합니다. 또한 3~5회 실행에 대한 간단한 집계 전략이 일관성을 크게 향상시킨다는 것을 발견했습니다. 새로운 모델을 사용할 때 감정 분석의 정확도 향상이라는 추가적인 이점을 제공할 수도 있습니다. 시뮬레이션 분석 결과, LLM 출력의 측정 가능한 불일치에도 불구하고 하류 통계적 추론은 매우 견고하다는 것을 보여줍니다. 이러한 결과는 생성형 AI 실행의 유리한 결과를 선택적으로 보고하는 것, 즉 "G-해킹"에 대한 우려를 해소합니다. 금융 및 회계 작업의 경우 이러한 위험이 상대적으로 낮다는 것을 보여줍니다.
