본 논문은 추론 모델이 어려운 논리적 작업에서 언어 모델의 성능을 향상시키는 메커니즘을 연구한다. 특히, Qwen-2.5-32B-Instruct 모델에 rank-1 LoRA를 적용하여, 전체 파라미터 미세 조정 대비 73-90%의 추론 벤치마크 성능을 회복할 수 있음을 보였다. LoRA의 활성화는 MLP 뉴런과 유사하게 해석 가능하며, 추론 관련 동작에 대해 활성화된다는 것을 확인했다. 또한, 이 LoRA의 활성화 상태에 희소 자동 인코더를 훈련하여 미세하고 단일 의미론적 특징을 식별했다. 본 연구는 최소한의 파라미터 변화로도 추론 성능이 크게 향상될 수 있음을 보여주고, 파라미터 효율적인 훈련 방법이 언어 모델 동작에 대한 근본적인 통찰력을 얻는 데 유용함을 제시한다.
