Este artículo presenta la Codificación Posicional Rotatoria Hiperbólica (HoPE), un enfoque propuesto para abordar las limitaciones de los mecanismos de codificación posicional utilizados para modelar la estructura secuencial y las dependencias de largo alcance en los modelos Transformer. Las codificaciones posicionales absolutas existentes tienen dificultades con la extrapolación a secuencias largas debido a sus representaciones posicionales fijas. Los enfoques relativos, como Alibi, muestran un rendimiento deficiente en contextos muy largos. La Codificación Posicional Rotatoria (RoPE), ampliamente utilizada, tiene dificultades para modelar dependencias de largo alcance de forma fiable debido a sus patrones de atención oscilantes. HoPE, inspirada en la transformada de Lorenz en geometría hiperbólica, aborda estos problemas aplicando rotaciones de Lorenz a representaciones de tokens mediante funciones hiperbólicas. El análisis teórico demuestra que RoPE es un caso especial de una formulación generalizada de HoPE, que resuelve fundamentalmente el problema de oscilación de RoPE al imponer una disminución monótona de los pesos de atención a medida que aumenta la distancia entre tokens. Amplios resultados experimentales, incluyendo evaluaciones de perplejidad en varios puntos de referencia de secuencias extendidas, demuestran que HoPE supera consistentemente a los métodos de codificación posicional existentes. Estos resultados resaltan la capacidad mejorada de HoPE para representar y generalizar dependencias de largo alcance. Los datos y el código se harán públicos.
