본 논문은 대규모 언어 모델(LLM)의 수치적 추론 오류의 근본적인 표현 메커니즘을 탐구합니다. 특히, LLM이 단일 개체의 여러 수치적 속성을 어떻게 통합하고, 관련 없는 수치적 맥락이 이러한 표현과 출력에 어떤 영향을 미치는지 조사합니다. 이를 위해, 선형 프로빙과 부분 상관 분석, 프롬프트 기반 취약성 테스트를 결합하여 다양한 크기의 모델에 적용했습니다. 결과적으로, LLM이 실제 세계의 수치적 상관 관계를 인코딩하지만 이를 체계적으로 증폭시키는 경향이 있으며, 관련 없는 맥락이 크기에 따라 달라지는 영향을 미치는 magnitude 표현의 일관된 변화를 유발한다는 것을 발견했습니다.
