본 논문은 대규모 언어 모델(LLM) 및 대규모 시각-언어 모델(LVLM)이 숫자 세기 작업에서 숫자 정보를 어떻게 표현하고 계산하는지 연구합니다. 반복적인 텍스트 및 시각적 항목을 사용한 제어된 실험과 인과적 매개 및 활성화 패치를 통해 모델 동작을 분석합니다. 이를 위해 숫자 내용의 기계적 해석 가능성을 위한 특수 도구인 CountScope를 설계합니다. 결과는 개별 토큰 또는 시각적 특징이 문맥 간에 추출 및 전송될 수 있는 잠재적 위치 카운트 정보를 인코딩한다는 것을 보여줍니다. 층별 분석은 작은 카운트를 인코딩하는 하위 층과 더 큰 카운트를 나타내는 상위 층을 통해 숫자 표현의 점진적인 출현을 보여줍니다. 각 항목별로 업데이트되는 내부 카운터 메커니즘을 식별했으며, 이는 주로 마지막 토큰 또는 영역에 저장되고 문맥 간에 전송 가능합니다. LVLM에서 숫자 정보는 시각적 임베딩에도 나타나며 공간적 구성에 따라 배경과 전경 영역 사이에서 이동합니다. 모델은 텍스트의 구분자와 같은 구조적 단서에 의존하며, 이는 항목 수를 추적하기 위한 지름길 역할을 하고 숫자 예측의 정확도에 영향을 미칩니다. 전반적으로 카운팅은 LLM에서 구조화된 계층적 프로세스로 나타나며 LVLM에서도 동일한 일반적인 패턴을 따르며, 이는 비전 인코더의 속성에 의해 형성됩니다.
