Cet article propose le codage positionnel rotatif hyperbolique (HoPE), une nouvelle méthode de codage positionnel inspirée de la transformée de Lorenz de la géométrie hyperbolique. Cette méthode vise à pallier les limites des mécanismes de codage positionnel utilisés pour modéliser la structure des séquences et les dépendances à longue portée dans les modèles Transformer. Alors que le codage positionnel rotatif (RoPE) classique entrave la modélisation des dépendances à longue portée en raison des oscillations de l'attention, HoPE surmonte ce problème en appliquant des rotations de Lorenz aux représentations de jetons à l'aide de fonctions hyperboliques. L'analyse théorique démontre que RoPE est un cas particulier de formulation généralisée de HoPE, et HoPE résout fondamentalement le problème de RoPE en imposant une diminution monotone des poids d'attention à mesure que la distance inter-jetons augmente. Les résultats expérimentaux obtenus à l'aide de divers tests de séquence étendus démontrent que HoPE surpasse les méthodes de codage positionnel existantes.
