Adaptive Dual Reasoner: Large Reasoning Models Can Think Efficiently by Hybrid Reasoning
Created by
Haebom
저자
Yujian Zhang, Keyu Chen, Zhifeng Shen, Ruizhi Qiao, Xing Sun
개요
Adaptive Dual Reasoner (ADR)는 과도한 사고로 인한 계산 비용 증가와 추론 지연 문제를 해결하기 위해, 빠른 사고와 느린 사고의 두 가지 추론 모드를 지원합니다. ADR은 추론 중 컨텍스트 복잡성에 따라 두 모드를 동적으로 전환합니다. ADR은 (1) 감독 미세 조정(SFT)을 사용한 콜드 스타트 단계와 (2) 엔트로피 기반 하이브리드 정책 최적화(EHPO)를 도입한 강화 학습 단계를 통해 훈련됩니다. 어려운 수학적 추론 벤치마크에서 ADR은 최첨단 접근 방식 중 추론 성능과 효율성 간의 효과적인 균형을 달성합니다.
시사점, 한계점
•
시사점:
◦
추론 성능을 최대 6.1% 향상시켰습니다.
◦
추론 출력 길이를 49.5% ~ 59.3% 줄였습니다.
◦
빠른 사고와 느린 사고 방식을 결합하여 효율성과 성능의 균형을 맞췄습니다.
◦
엔트로피 기반 하이브리드 정책 최적화(EHPO)라는 새로운 강화 학습 프레임워크를 제안했습니다.
