Emergent Slow Thinking in LLMs as Inverse Tree Freezing

작성자

Haebom

카테고리

Empty

저자

Sihan Hu, Xiansheng Cai, Yuan Huang, Zhiyuan Yao, Linfeng Zhang, Pan Zhang, Youjin Deng, Kun Chen

💡 개요

본 논문은 강화학습 기반의 검증 가능한 보상(RLVR)이 대규모 언어 모델(LLM)의 다단계 추론 능력을 어떻게 이끌어내는지 통계물리학적 관점에서 설명합니다. LLM의 제한된 용량이 복잡한 접두사 공간을 예측 상태의 마르코프 네트워크로 압축하고, RLVR은 이 네트워크에서 경로 병합과 경쟁을 통해 '개념 네트워크(CoNet)'를 형성하며 점진적으로 추론을 발전시킵니다. 최종적으로 이는 다중 입력, 단일 출력의 역방향 트리(inverse tree) 구조로 고정되며, 본 연구는 이러한 학습 동역학을 재현하고 새로운 훈련 방법론인 Annealed-RLVR을 제안하여 성능 향상을 입증했습니다.

🔑 시사점 및 한계

•

RLVR이 LLM의 추론 능력을 '역방향 트리 고정(inverse tree freezing)'이라는 통계물리학적 과정으로 설명할 수 있으며, 이는 추론 과정의 기하학적 구조와 관련이 있습니다.

•

훈련 시점의 '좌절(frustration)'을 이용한 짧은 SFT 개입(Annealed-RLVR)이 표준 RLVR보다 성능이 우수하며, 특히 고비용 샘플링 환경에서 LLM의 붕괴를 방지합니다.

•

SFT의 적용 시점이 추론 능력 유지에 결정적인 역할을 하며, 트리 고정 이후의 SFT는 오히려 '파국적 망각'을 유발합니다.

•

현재 모델은 LLM의 역방향 트리 고정 과정을 명확하게 보여주지만, 다양한 LLM 아키텍처 및 복잡한 추론 작업에 대한 일반화 성능 검증이 필요합니다.

PDF 보기

Made with Slashpage