Reinforced Efficient Reasoning via Semantically Diverse Exploration

Created by

Haebom

저자

Ziqi Zhao, Zhaochun Ren, Jiahong Zou, Liu Yang, Zhiwei Xu, Xuri Ge, Zhumin Chen, Xinyu Ma, Daiting Shi, Shuaiqiang Wang, Dawei Yin, Xin Xin

💡 개요

본 논문은 대규모 언어 모델(LLM)의 추론 능력을 향상시키기 위해 강화 학습과 검증 가능한 보상(RLVR)을 활용하는 기존 연구의 한계를 극복하고자 합니다. 기존 MCTS 기반 방법론의 제한된 탐색 다양성과 비효율적인 추론 문제를 해결하기 위해, 제안된 ROSE(Reinforced Efficient Reasoning via Semantically Diverse Explorations)는 의미론적 불확실성을 기반으로 하는 분기 전략과 $\varepsilon$-탐색 메커니즘을 도입하여 탐색 다양성을 증진시킵니다. 또한, 길이 인식 세그먼트 수준의 장점 추정기를 설계하여 간결하고 정확한 추론을 보상하고 불필요하게 긴 추론을 페널티함으로써 효율성을 높입니다.

🔑 시사점 및 한계

•

탐색 다양성 증진: 의미론적 엔트로피 기반 분기 전략과 $\varepsilon$-탐색 메커니즘을 통해 LLM이 더 넓고 다양한 추론 경로를 탐색하도록 유도하여 문제 해결 능력을 향상시킬 수 있습니다.

•

추론 효율성 향상: 길이 인식 세그먼트 수준의 장점 추정기는 불필요한 복잡성 없이 목표에 도달하는 간결한 추론을 선호하도록 학습시켜 추론 과정을 효율적으로 만듭니다.

•

수학적 추론 벤치마크에서의 효과 검증: Qwen 및 Llama 모델을 사용한 다양한 수학적 추론 벤치마크에서의 실험을 통해 ROSE의 효과와 효율성이 입증되었습니다.

•

기존 방법론의 한계점: 본 논문에서 제안된 방법론이 기존 RLVR 및 MCTS 기반 방법론의 탐색 다양성 부족 및 비효율성 문제를 해결하지만, 실제 복잡하고 다양한 작업 전반에 걸쳐 얼마나 일반화될 수 있는지에 대한 추가 연구가 필요할 수 있습니다.

PDF 보기

Made with Slashpage