본 논문은 최근 예측 작업에 적용된 대규모 언어 모델(LLM)이 인간의 성능을 능가하거나 맞먹는다고 주장하는 일부 연구에 대해, LLM 예측 모델 평가의 고유한 어려움을 고려하여 신중해야 한다고 주장한다. 평가 결과의 신뢰성 문제(시간적 누출 등)와 실제 예측으로의 외삽의 어려움이라는 두 가지 주요 문제점을 제시하며, 기존 연구의 체계적인 분석과 구체적인 사례를 통해 평가상의 결함이 현재 및 미래 성능 주장에 대한 우려를 야기할 수 있음을 보여준다. 따라서 LLM의 예측 능력을 자신 있게 평가하기 위해서는 보다 엄격한 평가 방법론이 필요하다고 주장한다.
