본 논문은 대규모 언어 모델(LLM)에서 언어 이해의 핵심 요소인 추론 능력을 향상시키기 위한 경량화된 후속 훈련 프레임워크를 제안합니다. 기존의 Chain-of-Thought 프롬프팅의 토큰 오버헤드와 고정된 추론 궤적 문제를 해결하기 위해, 모델의 잠재 공간에서 내부 추론 과정을 직접 개선하는 잠재 추론 방식을 활용합니다. 특히, 훈련 후 모델의 추론 임베딩을 효과적으로 업데이트하여 정확한 솔루션으로 유도하기 위한 두 가지 새로운 전략을 제시합니다.
시사점, 한계점
•
시사점:
◦
잠재 추론 궤적을 개선하기 위한 효과적인 후속 훈련 프레임워크 제안.
◦
Contrastive reasoning feedback과 Residual embedding refinement를 활용한 혁신적인 방법론 제시.
