RoPE Distinguishes Neither Positions Nor Tokens in Long Contexts, Provably

작성자

Haebom

카테고리

Empty

저자

Yufeng Du, Phillip Harris, Minyang Tian, Eliu A Huerta, Srikanth Ronanki, Subendhu Rongali, Aram Galstyan, Hao Peng

💡 개요

본 논문은 Transformer 기반의 장문 맥락 언어 모델에서 Rotary Positional Embeddings (RoPE)의 근본적인 한계를 이론적으로 분석합니다. 분석 결과, 맥락 길이가 길어질수록 RoPE 기반의 어텐션은 예측 불가능해지며, 가까운 위치를 선호하는 지역성 편향과 토큰 관련성의 일관성이라는 두 가지 핵심 속성을 잃게 됩니다. 이는 모델이 위치나 토큰을 제대로 구분하지 못하게 만들며, 확률적으로 무작위 추측보다 나은 성능을 보이지 못합니다.

🔑 시사점 및 한계

•

RoPE는 장문 맥락에서 위치 정보를 효과적으로 구분하는 데 한계가 있으며, 이는 어텐션 메커니즘의 지역성 편향과 토큰 관련성 일관성을 저해합니다.

•

RoPE base 하이퍼파라미터 조정은 위치 구분 능력과 토큰 구분 능력 간의 트레이드오프를 발생시키며, 두 가지를 동시에 보존할 수 없습니다.

•

다중 헤드, 다중 레이어 구조 또한 RoPE의 이러한 근본적인 한계를 극복하지 못하며, 장문 맥락 모델을 위한 새로운 위치 및 순서 인코딩 메커니즘 개발의 필요성을 시사합니다.

PDF 보기

Made with Slashpage