본 논문은 대규모 언어 모델(LLM)의 추론 능력 향상에 대한 연구를 다룹니다. 특히, 시각 정보를 필요로 하는 다중 모달 LLM(MLLM)이 장기 추론 과정에서 시각 정보에 대한 집중도가 점차 감소하는 현상을 발견하고, 이를 해결하기 위한 새로운 전략인 Take-along Visual Conditioning (TVC)를 제안합니다. TVC는 중요한 추론 단계에서만 시각 정보를 활용하고, 불필요한 시각 토큰을 제거하여 모델이 추론 과정 전반에 걸쳐 시각 정보에 대한 주의를 유지하도록 돕습니다. 실험 결과, TVC는 다섯 가지 수학적 추론 벤치마크에서 기존 최고 성능보다 평균 3.4% 향상된 성능을 달성하여 제안된 방법의 효과를 입증합니다.
