본 논문은 대규모 추론 모델(LRMs)의 과도한 사고(overthinking) 현상을 완화하기 위한 새로운 방법인 Manifold Steering을 제안합니다. LRMs는 수학 및 코딩과 같은 복잡한 작업을 해결하는 데 뛰어난 능력을 보이지만, 과도한 검증 루프와 중복된 숙고로 인해 계산 비용이 과다하게 발생하는 과도한 사고 현상을 보입니다. 본 연구는 기계적 해석 가능성(mechanistic interpretability) 관점에서 과도한 사고의 근본적인 메커니즘을 조사하여 이 문제를 해결하고자 합니다. 모델의 활성화 공간에서 과도한 사고 경향을 단일 방향으로 효과적으로 포착하고, 이 방향을 따라 활성화를 조절하여 문제를 완화할 수 있음을 보여줍니다. 하지만 이러한 효과는 증가하는 조절 강도에 따라 한계에 도달하고 악화됩니다. 따라서 활성화 공간을 체계적으로 탐색하여 과도한 사고 현상이 저차원 다양체(manifold)와 관련되어 있음을 발견하고, 간섭 노이즈의 이론적 근사치를 고려하여 조절 방향을 저차원 활성화 다양체에 투영하는 새로운 방법인 Manifold Steering을 제안합니다. DeepSeek-R1 증류 모델에 대한 광범위한 실험을 통해 제안된 방법이 여러 수학 벤치마크에서 정확도를 유지하거나 개선하면서 출력 토큰을 최대 71%까지 줄이는 것을 검증했습니다. 또한 코드 생성 및 지식 기반 QA 작업에서 일관된 토큰 감소 성능을 제공하여 견고한 도메인 간 전이성을 보여줍니다.
