본 논문은 대규모 언어 모델(LLM)의 위치 일반화(position generalization) 현상, 즉 문장 내 단어의 위치 변화에도 의미를 이해하는 능력에 대해 탐구한다. 기존 연구에서 LLM이 위치 정보를 관용적으로 다룬다는 사실은 알려져 있었지만, 그 작동 원리는 불명확했다. 본 연구는 LLM의 자기 주의 메커니즘을 분석하여 위치 정보와 의미 정보의 처리 방식을 밝히고자 한다. 연구 결과, LLM은 위치 관련성과 의미 중요도의 산술적 합과 높은 상관관계(0.959)를 보이는 어텐션 로그잇을 학습하며, 이는 무작위 초기화된 매개변수와는 다른 학습된 행동임을 밝혔다. 이를 통해 LLM의 위치 일반화 능력에 대한 계산적 설명과 기준을 제시한다.
