본 연구는 금융 및 회계 연구에서 대규모 언어 모델(LLM) 출력의 일관성과 재현성에 대한 최초의 포괄적인 평가를 제공합니다. 5가지 일반적인 작업(분류, 감정 분석, 요약, 텍스트 생성, 예측)에 걸쳐 50회의 독립 실행을 통해 동일한 입력에 대해 LLM이 얼마나 일관되게 출력을 생성하는지 평가합니다. 세 가지 OpenAI 모델(GPT-3.5-turbo, GPT-4o-mini, GPT-4o)을 사용하여 MD&A, FOMC 성명, 금융 뉴스 기사, 실적 발표 녹취록 및 재무 제표를 포함하는 다양한 금융 소스 텍스트 및 데이터에서 340만 개가 넘는 출력을 생성합니다. 연구 결과, 이진 분류 및 감정 분석은 거의 완벽한 재현성을 달성하는 반면, 복잡한 작업은 더 큰 변동성을 보이는 등 작업에 따라 일관성이 크게 달라짐을 보여줍니다. 더 고급 모델이 일관성과 재현성을 더 잘 보여주는 것은 아니며, 작업별 패턴이 나타납니다. LLM은 일관성 측면에서 전문가 수준의 인간 어노테이터보다 훨씬 뛰어나며, 인간 전문가가 크게 의견이 다른 경우에도 높은 일치율을 유지합니다. 또한 3~5회 실행에 대한 간단한 집계 전략을 통해 일관성이 크게 향상됨을 발견했습니다. 시뮬레이션 분석 결과, LLM 출력의 측정 가능한 불일치에도 불구하고 하류 통계적 추론은 매우 강력하게 유지됩니다. 이러한 결과는 여러 생성형 AI 실행에서 유리한 결과를 선택적으로 보고하는 것을 의미하는 "G-hacking"에 대한 우려를 해소하며, 금융 및 회계 작업의 경우 이러한 위험이 상대적으로 낮음을 보여줍니다.
