본 논문은 대규모 언어 모델(LLM)의 잠재적 추론 능력을 2-홉 질문 응답을 통해 연구합니다. 특히, CoT(Chain-of-Thought) 없이도 LLM이 2-홉 추론을 수행할 수 있는지 조사합니다. 이를 위해, 합성 사실을 사용하여 LLM(Llama 3 8B, GPT-4o 포함)을 미세 조정하고, 2-홉 추론 능력을 테스트합니다. 합성 사실을 사용함으로써 기억 및 추론 지름길을 배제하고 잠재적 추론 능력을 평가합니다.
시사점, 한계점
•
LLM은 합성 사실과 자연 사실을 조합하여 2-홉 추론을 수행할 수 있으며, 이는 잠재적 2-홉 추론 능력을 시사합니다.
•
LLM은 두 개의 합성 사실을 조합하는 데 어려움을 겪습니다.
•
모델 크기에 따른 2-홉 추론 능력의 확장성에 대한 추가 연구가 필요합니다.
•
LLM 추론 연구에서 기억 및 추론 지름길을 피하고, 훈련 환경과 동떨어진 실험 설정을 주의해야 합니다.
