Think Consistently, Reason Efficiently: Energy-Based Calibration for Implicit Chain-of-Thought
Created by
Haebom
Category
Empty
저자
Zhikang Chen, Sen Cui, Deheng Ye, Yu Zhang, Yatao Bian, Tingting Zhu
개요
본 논문은 대규모 언어 모델(LLM)의 Chain-of-Thought (CoT) 프롬프팅 방식을 개선하기 위해, 에너지 기반 모델(EBM)을 활용한 EBM-CoT 프레임워크를 제안한다. 기존 CoT 방식의 오류 전파와 어휘 표현의 한계를 극복하고, 잠재 공간에서의 연속적인 추론을 통해 일관성을 강화한다. EBM-CoT는 에너지 기반 모델을 통해 잠재적 사고 표현을 조정하여, 추론 정확도와 일관성을 향상시킨다. 수학, 상식, 기호 추론 벤치마크를 통해 제안된 프레임워크의 효과를 입증한다.
시사점, 한계점
•
시사점:
◦
LLM의 다단계 추론의 일관성과 효율성을 크게 향상시킴.
◦
기존 LLM의 기반 모델을 변경하지 않고, 추론 성능을 개선하는 프레임워크를 제시.
◦
에너지 기반 모델을 활용하여 잠재 공간에서의 추론 일관성을 강화하는 새로운 접근 방식 제시.
