본 논문은 시각 언어 모델(VLMs)이 시각적 산술 능력(물체 세기나 길이 비교 등)에서 어려움을 겪는 문제를 다룹니다. 이는 차트 이해나 기하학적 추론과 같은 복잡한 작업에 필수적인 능력입니다. 연구진은 탐색 과제를 통해 사전 훈련된 시각 인코더는 충분한 정보를 포착하지만, 텍스트 디코더가 산술 추론을 위해 이를 올바르게 디코딩하지 못하는 원인을 분석했습니다. 이를 해결하기 위해, 피아제의 인지 발달 이론에서 영감을 받은 새로운 사후 훈련 전략인 CogAlign을 제안합니다. CogAlign은 시각적 변환 하에서 불변 속성을 인식하도록 VLMs을 훈련합니다. 실험 결과, CogAlign은 세 가지 다양한 VLMs의 성능을 향상시켰으며, CHOCOLATE과 MATH-VISION 데이터셋에서 각각 평균 4.6%와 2.9%의 성능 향상을 보였습니다. 이는 지도 학습 방식보다 우수하거나 동등한 성능을 보이며, 훈련 데이터를 60% 적게 사용합니다.
