Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Mitigating Overthinking in Large Reasoning Models via Manifold Steering

Created by
  • Haebom
Category
Empty

저자

Yao Huang, Huanran Chen, Shouwei Ruan, Yichi Zhang, Xingxing Wei, Yinpeng Dong

개요

본 논문은 대규모 추론 모델(LRM)의 과도한 사고(overthinking) 현상을 완화하기 위한 새로운 접근 방식인 Manifold Steering을 제안한다. 모델의 활성화 공간 내에서 과도한 사고 경향을 나타내는 단일 방향을 확인하고, 이를 기반으로 활성화 공간을 체계적으로 탐구하여 과도한 사고가 저차원 매니폴드와 관련되어 있음을 발견했다. Manifold Steering은 간섭 노이즈의 이론적 근사를 바탕으로 조향 방향을 저차원 활성화 매니폴드로 투영하는 방식을 사용하며, DeepSeek-R1 모델에 대한 실험을 통해 토큰 생성을 최대 71%까지 줄이면서도 정확도를 유지하거나 향상시켰음을 입증했다. 또한, 코드 생성 및 지식 기반 QA 작업에서도 일관된 토큰 감소 성능을 보이며, cross-domain transferability를 입증했다.

시사점, 한계점

•
시사점:
◦
LRM의 과도한 사고 문제를 기계적 해석 가능성 관점에서 분석하여 해결책 제시.
◦
활성화 공간 내 저차원 매니폴드 기반 조향 접근 방식인 Manifold Steering 제안.
◦
수학 벤치마크에서 정확도를 유지 또는 향상시키면서 토큰 수를 크게 감소시킴.
◦
코드 생성 및 지식 기반 QA 등 다양한 도메인에서 일관된 성능을 보임.
◦
오픈 소스 코드 제공.
•
한계점:
◦
제안된 방법의 효과가 특정 모델(DeepSeek-R1)에 초점을 맞춰 검증됨. 다른 모델에 대한 일반화 가능성 추가 검증 필요.
◦
Manifold Steering의 저차원 매니폴드 결정 방식에 대한 추가적인 설명이 필요할 수 있음.
◦
간섭 노이즈에 대한 이론적 근사치의 정확성과, 그로 인한 실제 성능의 영향에 대한 추가 분석 필요.
👍
Made with Slashpage