본 논문은 대규모 언어 모델(LLM)의 위치 일반화 능력, 즉 문장 내 단어 순서 변화나 훈련 데이터보다 긴 문장에 대한 이해 능력에 대한 계산적 메커니즘을 탐구합니다. 연구진은 LLM이 위치 변동에 대해 어떻게 관용적으로 처리하는지, 특히 자기 주의 메커니즘 내에서 어떤 계산적 메커니즘을 사용하는지 분석합니다. 결과적으로, LLM이 위치 관련성과 의미적 중요성의 산술적 합과 0.959의 높은 선형 상관관계를 보이는 주의 로짓(logit)의 역설적인 분리를 학습한다는 것을 밝힙니다. 또한, 이러한 효과를 가능하게 하는 중간 특징의 패턴을 확인하고 이론적으로 증명하며, 이는 모델 아키텍처의 자연스러운 결과가 아닌 학습된 행동임을 시사합니다. 결론적으로, LLM의 위치 유연성에 대한 계산적 설명과 기준을 제공하며, 위치 일반화와 LLM의 내부 메커니즘을 연결하는 선구적인 연구입니다.
