본 논문은 '추론'의 본질에 대한 탐구를 통해, 현재 대규모 언어 모델(LLM)의 한계를 지적하고 진정한 추론 능력 확보를 위한 새로운 아키텍처를 제시합니다. 논문은 추론을 "상태 공간에서 반복적인 연산자 적용, 고정점으로 수렴"하는 과정으로 정의하며, 이를 바탕으로 기존 LLM의 문제점을 분석하고, 76%의 정확도를 달성하는 새로운 아키텍처(OpenLM)를 개발합니다. 이는 기존 LLM이 달성하지 못하는 성능입니다.
시사점, 한계점
•
시사점:
◦
추론의 본질에 대한 새로운 정의 제시: "상태 공간에서의 반복적 연산자 적용 및 고정점 수렴"
◦
LLM의 추론 능력에 대한 비판적 시각 제시: 단순히 패턴 매칭에 의존한다는 점 지적
◦
새로운 아키텍처 OpenLM 개발 및 성능 입증: 기존 LLM의 한계를 극복하고, 진정한 추론 능력을 갖춘 시스템의 가능성을 제시
