ThinkRouter: Efficient Reasoning via Routing Thinking between Latent and Discrete Spaces

Created by

Haebom

저자

Xin Xu, Tong Yu, Xiang Chen, Haoliang Wang, Julian McAuley, Saayan Mitra

💡 개요

본 논문은 기존 잠재 공간 추론 방식의 한계를 극복하기 위해, 모델의 추론 신뢰도를 인지하여 추론 방식을 동적으로 전환하는 ThinkRouter를 제안한다. ThinkRouter는 모델 신뢰도가 낮을 때는 명시적 토큰 공간으로, 높을 때는 잠재 공간으로 추론을 라우팅하여 효율적이고 정확한 추론을 수행한다. 실험 결과, ThinkRouter는 기존 방식 대비 정확도를 크게 향상시키고 생성 길이를 단축시키는 성과를 보였다.

🔑 시사점 및 한계

•

잠재 공간 추론 시 발생하는 저신뢰도 스텝의 누적과 노이즈 전파 문제를 해결하기 위해, 추론 신뢰도를 활용한 동적 라우팅 메커니즘의 효과성을 입증했다.

•

STEM 추론 및 코딩 벤치마크에서 다양한 대규모 언어 모델에 ThinkRouter를 적용하여, 기존 CoT, 무작위 라우팅, 잠재 추론 대비 높은 정확도 향상과 생성 길이 단축이라는 실질적인 이점을 제시했다.

•

ThinkRouter는 명시적 CoT와 잠재 추론의 오류를 보정하고, 모델의 전반적인 신뢰도를 낮춰 추론 종료 토큰 생성을 가속화하는 능력을 보인다.

PDF 보기

Made with Slashpage