본 논문은 대규모 언어 모델(LLM) 내 수학 추론 능력의 국소화 및 개선을 위한 새로운 방법인 Math Neurosurgery (MathNeuro)를 제안합니다. MathNeuro는 순전파만을 사용하여 계산적으로 효율적인 방식으로 LLM 내 수학 관련 매개변수를 식별합니다. 일반적인 언어 작업에 중요한 매개변수를 걸러내어 수학 특화 매개변수를 분리하고, 이를 통해 수학 추론 능력을 제거하거나 향상시킬 수 있습니다. 실험 결과, MathNeuro는 GSM8K 및 MATH 데이터셋에서 사전 훈련 또는 지시 튜닝된 LLM의 성능을 4-17% 및 5-35% 향상시키는 동시에 비수학적 행동에는 영향을 미치지 않는 것을 보여줍니다. 또한, 단일 샘플만을 사용해도 효과적임을 확인하여 데이터 효율성을 입증합니다.
