본 논문은 대규모 언어 모델(LLM)이 에이전트 환경에서 일반적인 추론자로 사용될 가능성이 높아지고 있지만, 수학적 및 논리적 오류를 범하기 쉽다는 문제를 다룬다. 특히, 명확한 정답이 없고 미묘한 모순을 포함할 수 있는 열린 끝 작업에서 이 문제는 더욱 심각하다. 이를 해결하기 위해, 본 논문에서는 LLM과 형식 논리를 통합하여 자연어 추론의 검증 및 개선을 가능하게 하는 Logic-Enhanced Language Model Agents (LELMA) 프레임워크를 제안한다. LELMA는 LLM-Reasoner, LLM-Translator, Solver의 세 가지 구성 요소로 구성되며, 추론을 논리적 표현으로 변환하는 자동 형식화를 사용하여 논리적 타당성을 평가한다. 죄수의 딜레마와 같은 게임 이론적 시나리오를 테스트베드로 사용하여, 성능이 낮은(Gemini 1.0 Pro) 모델과 고급(GPT-4o) 모델 모두에서 논리적으로 타당한 추론을 생성하는 데 한계가 있음을 강조한다. LELMA는 오류 탐지에서 높은 정확도를 달성하고, 특히 GPT-4o에서 자기 개선을 통해 추론 정확성을 향상시킨다. 또한, 자동 형식화 정확도와 본질적으로 모호한 열린 끝 추론 작업 평가의 어려움을 강조한다.
