본 논문은 언어 이해 및 생성의 중요한 측면인 문장 내 단어의 위치 정보와 기호 정보를 독립적으로 인코딩하는 능력에 초점을 맞추고 있습니다. 특히, Transformer 모델에서 널리 사용되는 Rotary Positional Encoding (RoPE)의 동작 방식을 심층적으로 분석합니다. 연구는 RoPE가 대형 및 소형 주파수를 사용하여 강건한 위치 정보와 의미 정보를 인코딩한다는 점에 주목하고, 어텐션 헤드의 위치적/기호적 동작을 이론적 및 경험적 수준에서 분석합니다. 이를 위해 위치적 또는 기호적으로 동작하는 헤드의 일반적인 정의를 제시하고, 상호 배타적인 동작임을 증명하며, 이를 정량화하는 지표를 개발합니다. RoPE를 사용하는 Transformer 기반 LLM에 대한 분석을 통해 헤드의 동작과 주파수 사용 간의 강한 상관관계를 발견하고, 순수하게 위치적이거나 기호적인 작업을 통해 Transformer 성능이 어텐션 헤드가 적절한 주파수를 활용하는 능력과 인과 관계가 있음을 입증합니다.
