Are Language Models Efficient Reasoners? A Perspective from Logic Programming
Created by
- Haebom
Category
Empty
저자
Andreas Opedal, Yanick Zengaffinen, Haruki Shirakami, Clemente Pasti, Mrinmaya Sachan, Abulhair Saparov, Ryan Cotterell, Bernhard Scholkopf
개요
현대 언어 모델(LM)은 강력한 연역적 추론 능력을 보이지만, 기존 평가는 정확성에 초점을 맞추고 인간과 같은 추론의 핵심 측면인 효율성을 간과합니다. 실제 추론 시나리오에서는 많은 정보가 관련이 없으며, 효과적인 연역적 추론에는 이러한 방해 요소를 식별하고 무시하는 것이 필요합니다. 본 논문에서는 논리 프로그래밍을 통해 LM 추론 효율성을 평가하는 프레임워크를 제안합니다. LM이 생성한 자연어 증명을 논리 프로그램을 실행하여 찾은 최단 증명과 정렬하는 간단한 방법을 도입합니다. 효율성은 모델이 불필요한 추론을 얼마나 잘 피하는지 측정하여 정량화됩니다. 실험적으로, 다양한 수의 관련 없는 공리(목표 정리와의 의미적 중첩 정도가 다름)를 주입한 수학 문제 데이터셋을 구축합니다. 결과적으로 현재 LM은 이러한 조건에서 상당한 정확도 저하를 보이며 (심지어 최소한의, 도메인 일관적인 방해 요소에서도), LM이 생성하는 증명은 관련 없는 추론을 자주 거치는 것으로 나타났습니다.
시사점, 한계점
•
시사점:
◦
LM의 연역적 추론 효율성을 평가하는 새로운 프레임워크 제안.
◦
LM이 관련 없는 정보를 처리하는 능력이 부족하다는 것을 입증.
◦
도메인 일관적인 방해 요소에도 LM의 정확도가 감소함을 발견.
•
한계점:
◦
논리 프로그래밍 기반의 평가 방식이 다른 추론 유형에 일반화될 수 있는지 여부 불분명.
◦
특정 유형의 수학 문제에 국한된 데이터셋 사용.
◦
LM이 생성하는 증명의 품질 향상을 위한 구체적인 방법론 제시 부족.
