회전 위치 임베딩(RoPE)은 위치 인코딩 방법으로 뛰어난 성능을 보였으며, 기존의 방법들을 지속적으로 능가합니다. 최근 연구에서는 RoPE를 더 높은 차원의 입력으로 확장하려 했지만, 많은 확장 방법들은 비가환적이어서 RoPE의 이동 등가성을 잃었습니다. Spherical RoPE는 이러한 비가환적 변형 중 하나로, 원 대신 구체에서 임베딩 벡터를 회전시킨다는 아이디어를 기반으로 합니다. 하지만, 구면 회전은 본질적으로 비가환적이므로 회전 순서를 선택하는 데 모호함이 있습니다. 본 연구에서는 오일러 각 대신 3D 회전을 표현하는 쿼터니언을 활용하여 회전축을 매개변수화하는 쿼터니언 기반 접근 방식인 QuatRo(Quaternion Rotary Embeddings)를 탐구합니다. Mixed RoPE와 Spherical RoPE가 QuatRo의 특수한 경우임을 보여줍니다. 또한 기하 대수를 사용하여 QuatRo를 Clifford Algebraic Rotary Embeddings(CARE)로 일반화하는 것을 제안합니다. 쿼터니언을 Cl(3,0,0)의 짝수 부분 대수로 간주하여, 쿼터니언에서 멀티벡터에 작용하는 Clifford 회전자까지 회전 임베딩 개념을 확장합니다. 이 공식화는 두 가지 주요 일반화를 가능하게 합니다: (1) 회전 임베딩을 임의의 차원으로 확장, (2) 벡터뿐만 아니라 여러 등급의 멀티벡터에 위치 정보를 인코딩. Spherical, 쿼터니언, Clifford 기반 회전 임베딩을 비교하는 예비 실험 결과를 제시합니다.
