# Path-Lock Expert: Separating Reasoning Mode in Hybrid Thinking via Architecture-Level Separation

### 저자

Shouren Wang, Wang Yang, Chuang Ma, Debargha Ganguly, Vikash Singh, Chaoda Song, Xinpeng Li, Xianxuan Long, Vipin Chaudhary, Xiaotian Han

### 💡 개요

본 논문은 기존 하이브리드 사고 언어 모델에서 발생하는 추론 모드 누수 문제를 해결하기 위해 아키텍처 수준에서 '사고(think)' 모드와 '비사고(no-think)' 모드를 명확하게 분리하는 Path-Lock Expert(PLE)를 제안합니다. PLE는 각 디코더 레이어의 MLP를 두 개의 의미론적으로 고정된 전문가(expert)로 대체하고, 토큰 라우터를 통해 각 시퀀스마다 하나의 전문가 경로만 활성화하여 추론 시 계산 패턴을 유지하면서도 각 모드에 순수한 업데이트가 이루어지도록 합니다. 이를 통해 수학 및 과학 추론 벤치마크에서 사고 모드 성능을 유지하면서 비사고 모드의 정확성과 간결성을 크게 향상시키고 추론 누수를 현저히 줄였습니다.

### 🔑 시사점 및 한계

- **아키텍처 기반 모드 분리의 효과성**: 추론 모드 누수는 데이터 큐레이션이나 다단계 학습이 아닌, 아키텍처 수준에서 모드별 경로를 분리하는 것이 근본적인 해결책임을 보여줍니다.

- **명확한 모드 제어 및 효율성**: PLE는 추론 시 계산 효율성을 유지하면서도 '사고'와 '비사고' 모드를 명확하게 분리하여 제어 가능성을 높입니다.

- **추론 모드 누수 완화**: 특히 비사고 모드에서 불필요한 자기 성찰적 응답을 줄여 추론 누수 문제를 효과적으로 완화했습니다.

- **한계점/향후 과제**: 제안된 방법이 특정 언어 모델 구조(MLP 기반)에 맞춰져 있어, 다양한 아키텍처에 대한 일반화 가능성 검증이 필요할 수 있습니다. 또한, 전문가 간의 상호 작용이나 복잡한 추론에서 발생할 수 있는 미묘한 성능 저하 가능성에 대한 추가적인 연구가 필요할 수 있습니다.

[PDF 보기](https://arxiv.org/pdf/2604.27201)

For the site tree, see the [root Markdown](https://slashpage.com/haebom.md).