Towards Reasoning Era: A Survey of Long Chain-of-Thought for Reasoning Large Language Models
Created by
Haebom
저자
Qiguang Chen, Libo Qin, Jinhao Liu, Dengyun Peng, Jiannan Guan, Peng Wang, Mengkang Hu, Yuhang Zhou, Te Gao, Wanxiang Che
개요
본 논문은 대규모 언어 모델(LLM)의 추론 능력 향상에 중요한 역할을 하는 장쇄 사고 과정(Long CoT)에 대한 종합적인 조사를 제공합니다. 기존의 단쇄 사고 과정(Short CoT)과의 차이점을 명확히 하고, Long CoT의 핵심 특징인 심층 추론, 광범위한 탐색, 실행 가능한 반성을 분석합니다. 또한, 과도한 사고(overthinking) 및 추론 시간 확장과 같은 현상을 조사하고, 다모달 추론 통합, 효율성 개선, 향상된 지식 프레임워크 등 미래 연구 방향을 제시합니다.
시사점, 한계점
•
시사점:
◦
Long CoT와 Short CoT의 차이점을 명확히 정의하고 새로운 분류 체계를 제시하여 LLM 추론 연구의 기반을 마련했습니다.
◦
Long CoT의 핵심 특징(심층 추론, 광범위한 탐색, 실행 가능한 반성)을 분석하여 성능 향상의 원인을 밝혔습니다.
◦
과도한 사고 및 추론 시간 확장과 같은 현상에 대한 통찰력을 제공했습니다.
◦
미래 연구 방향을 제시하여 LLM 추론 분야의 발전에 기여할 수 있습니다.
•
한계점:
◦
Long CoT에 대한 종합적인 조사는 이 논문이 처음이지만, 아직까지 Long CoT의 정확한 정의나 측정 방법에 대한 합의가 부족할 수 있습니다.
