본 논문은 Transformer 모델에서 시퀀스 구조와 장거리 의존성을 모델링하는 데 사용되는 위치 인코딩 메커니즘의 한계를 해결하기 위해, 쌍곡기하학의 로렌츠 변환에서 영감을 받은 새로운 위치 인코딩 방법인 Hyperbolic Rotary Positional Encoding (HoPE)를 제안합니다. 기존의 Rotary Positional Encoding (RoPE)은 진동하는 어텐션 패턴으로 장거리 의존성 모델링을 방해하는 반면, HoPE는 쌍곡 함수를 이용하여 토큰 표현에 로렌츠 회전을 적용하여 이러한 문제를 해결합니다. 이론적 분석을 통해 RoPE가 HoPE의 일반화된 공식의 특수한 경우임을 보이고, HoPE는 토큰 간 거리가 증가함에 따라 어텐션 가중치의 단조 감소를 강제함으로써 RoPE의 문제를 근본적으로 해결합니다. 다양한 확장된 시퀀스 벤치마크를 사용한 실험 결과, HoPE는 기존 위치 인코딩 방법보다 성능이 우수함을 보여줍니다.
