HyPER: Bridging Exploration and Exploitation for Scalable LLM Reasoning with Hypothesis Path Expansion and Reduction

Created by

Haebom

저자

Shengxuan Qiu, Haochen Huang, Shuzhang Zhong, Pengfei Zuo, Meng Li

💡 개요

본 논문은 대규모 언어 모델(LLM)의 추론 정확도를 높이기 위해 탐색(exploration)과 활용(exploitation)의 균형을 맞추는 새로운 방법론인 HyPER를 제안합니다. HyPER는 가설 경로 확산 및 축소 제어 문제로 추론을 재정의하고, 동적인 온라인 제어 정책을 통해 고정된 연산 예산 내에서 계산량을 효율적으로 재분배합니다. 실험 결과, HyPER는 기존 방법론보다 우수한 정확도-연산량 균형을 달성하며 정확도를 높이고 연산량을 줄였습니다.

🔑 시사점 및 한계

•

LLM 추론 시 탐색과 활용의 동적인 균형 조절이 연산 효율성과 정확도 향상에 중요하다는 것을 보여줍니다.

•

HyPER는 훈련 없이도 효율적인 추론 능력 확장이 가능하며, 특히 중간 단계에서 갈라지는 추론 경로에 효과적으로 대응할 수 있습니다.

•

제안된 방법은 특정 모델 구조(Mixture-of-Experts) 및 연산 예산 제약 하에서 최적의 성능을 보이며, 일반적인 LLM 및 다양한 연산 제약 조건에 대한 추가적인 연구가 필요할 수 있습니다.

PDF 보기

Made with Slashpage