Draft-Thinking: Learning Efficient Reasoning in Long Chain-of-Thought LLMs

Created by

Haebom

저자

Jie Cao, Tianwei Lin, Zhenxuan Fan, Bo Yuan, Ziyuan Zhao, Rolan Yan, Wenqiao Zhang, Siliang Tang

💡 개요

본 논문은 대규모 언어 모델(LLM)의 장문의 연쇄적 사고(CoT) 방식이 상당한 연산 비용 증가를 동반하며, 불필요한 "과잉 사고"를 유발한다는 문제점을 지적합니다. 이를 해결하기 위해, 연구진은 핵심 추론 단계만 포함하는 간결한 "초안 스타일"의 추론 구조를 학습하도록 유도하는 Draft-Thinking 방법론을 제안합니다. 이 방법론은 점진적 커리큘럼 학습과 적응형 프롬프팅을 통해 효율적인 추론 패턴을 내재화하고, 연산 비용을 크게 줄이면서도 성능 저하를 최소화합니다.

🔑 시사점 및 한계

•

LLM의 연산 효율성을 개선하여 추론 비용을 절감하고, 성능 저하를 최소화하는 실용적인 방안을 제시합니다.

•

초안 스타일의 추론 구조를 학습함으로써 LLM이 불필요한 사고 과정을 줄이고 핵심 논리에 집중하도록 유도할 수 있습니다.

•

적응형 프롬프팅을 통해 모델이 필요에 따라 추론 깊이를 유연하게 조절하도록 하는 새로운 접근 방식을 제시합니다.

•

제안된 방법론의 일반화 가능성과 다양한 LLM 아키텍처 및 작업에 대한 효과 검증이 추가적으로 필요합니다.

PDF 보기

Made with Slashpage