Beyond Scalars: Evaluating and Understanding LLM Reasoning via Geometric Progress and Stability

Created by

Haebom

저자

Xinyan Jiang, Ninghao Liu, Di Wang, Lijie Hu

💡 개요

기존의 단일 확률 기반 LLM 평가 방식이 추론의 구조적 역학을 포착하지 못하는 한계를 극복하기 위해, 본 연구는 이론적으로 정립된 기하학적 운동학을 활용하는 TRACED 프레임워크를 제안합니다. 추론 과정을 진행도(변위)와 안정성(곡률)으로 분해하여, 올바른 추론은 높은 진행도와 안정적인 궤적으로, 환각은 낮은 진행도와 불안정한 패턴으로 구분했습니다.

🔑 시사점 및 한계

•

추론 과정의 기하학적 이해: LLM의 추론 과정을 단순히 결과값으로 평가하는 것을 넘어, 기하학적 궤적으로 분석함으로써 추론의 질을 측정하고 이해하는 새로운 관점을 제시합니다.

•

환각 현상 탐지 및 분류: 진행도와 안정성 지표를 통해 환각 현상을 효과적으로 탐지하고, 그 원인을 '망설임 루프(Hesitation Loops)'와 '확신 축적(Certainty Accumulation)'과 같은 물리적 개념으로 해석할 수 있는 가능성을 열었습니다.

•

평가 프레임워크의 확장성 및 해석력: 다양한 벤치마크에서 경쟁력 있는 성능과 뛰어난 강건성을 보여주며, 기존 평가 방법론의 한계를 보완하고 LLM의 내부 작동 방식을 보다 직관적으로 이해할 수 있는 도구를 제공합니다.

•

고차원 추론 및 복잡한 데이터셋 적용: 현재 제시된 기하학적 분석이 2차원 또는 3차원 공간에서의 궤적으로 시각화되는 것에 대한 한계가 있으며, 더욱 복잡하고 고차원적인 추론 과정에 대한 확장 연구가 필요합니다.

PDF 보기

Made with Slashpage