본 논문은 Transformer 모델에서 순차 구조와 장거리 의존성을 모델링하는 데 사용되는 위치 인코딩 메커니즘의 한계를 해결하기 위해 제안된 Hyperbolic Rotary Positional Encoding (HoPE)을 소개한다. 기존의 절대 위치 인코딩은 고정된 위치 표현으로 인해 긴 시퀀스로의 외삽이 어렵고, Alibi와 같은 상대적 접근 방식은 매우 긴 컨텍스트에서 성능 저하를 보이며, 널리 사용되는 Rotary Positional Encoding (RoPE)은 진동하는 어텐션 패턴으로 인해 안정적인 장거리 의존성 모델링을 방해한다. HoPE는 쌍곡 기하학의 로렌츠 변환에서 영감을 얻어 쌍곡 함수를 이용하여 토큰 표현에 로렌츠 회전을 적용함으로써 이러한 문제점을 해결한다. 이론적 분석을 통해 RoPE가 HoPE의 일반화된 공식의 특수한 경우임을 보여주고, HoPE는 토큰 간 거리가 증가함에 따라 어텐션 가중치의 단조 감소를 강제함으로써 RoPE의 진동 문제를 근본적으로 해결한다. 여러 확장된 시퀀스 벤치마크에서의 perplexity 평가를 포함한 광범위한 실험 결과는 HoPE가 기존 위치 인코딩 방법보다 일관되게 우수함을 보여준다. 이러한 결과는 HoPE가 장거리 의존성을 표현하고 일반화하는 향상된 능력을 강조한다. 데이터와 코드는 공개될 예정이다.
