본 논문은 2023년 12월부터 2024년 8월까지 최첨단 대규모 언어 모델(LLM)의 자동 정리 증명기(ATP) 추론 전략 사용 능력을 실험적으로 평가한 연구입니다. PRONTOQA steamroller 추론 문제를 사용하여 GPT-4 이후 모델들의 성능을 평가하고, LLM 응답 정확도와 정답 상관관계를 분석하는 방법론을 개발했습니다. 연구 결과, 9개월 동안 LLM의 추론 능력 향상이 정체되었으며, GPT-4 이후의 성능 향상은 대부분 숨겨진 시스템 프롬프트 또는 일반적인 사고 과정 프롬프팅 전략을 자동으로 사용하도록 모델을 훈련한 결과임을 보여줍니다. ATP 추론 전략 중에서는 하향식(순차적 추론) 전략을 가장 잘 따르는 것으로 나타났으며, LLM 응답에 정확한 추론이 포함되어 있는 것과 정확한 결론에 도달하는 것 사이의 상관관계는 낮게 나타났습니다.
