본 논문은 대규모 언어 모델(LLM)의 잠재적 추론 능력, 특히 두 단계 질의응답을 통해 두 가지 사실을 조합하는 능력을 조사합니다. 기존 연구에서는 LLM이 사고 과정(CoT) 없이는 두 단계 질의응답에 어려움을 겪는다는 것을 보였습니다. 본 연구는 합성된 사실들을 사용하여 LLM을 미세 조정하고, 이를 통해 암기나 추론 지름길을 배제하고 순수한 추론 능력을 평가합니다. Llama 3 8B와 GPT-4o 등의 모델을 대상으로 실험한 결과, 모델들은 두 개의 합성된 사실을 조합하는 데 실패하지만, 하나의 합성 사실과 하나의 자연어 사실을 조합하는 데는 성공하는 모습을 보였습니다. 이는 LLM이 잠재적인 두 단계 추론 능력을 가지고 있음을 보여주지만, 이 능력이 모델 크기에 따라 어떻게 확장되는지는 불분명하다는 것을 시사합니다. 마지막으로, LLM 추론 연구자들에게 LLM의 잠재적 추론 능력에 대한 결론을 내릴 때 암기나 추론 지름길로 인한 허위 성공과 인위적인 실험 설정으로 인한 허위 실패를 모두 피해야 함을 강조합니다.
