Cet article présente le codage positionnel rotatif hyperbolique (HoPE), une approche proposée pour pallier les limites des mécanismes de codage positionnel utilisés pour modéliser la structure séquentielle et les dépendances à longue portée dans les modèles Transformer. Les codages positionnels absolus existants peinent à extrapoler aux séquences longues en raison de leurs représentations positionnelles fixes. Les approches relatives, comme Alibi, présentent de faibles performances dans les contextes très longs. Le codage positionnel rotatif (RoPE), largement utilisé, peine à modéliser de manière fiable les dépendances à longue portée en raison de ses schémas d'attention oscillants. HoPE, inspiré de la transformée de Lorenz en géométrie hyperbolique, aborde ces problèmes en appliquant les rotations de Lorenz aux représentations de jetons à l'aide de fonctions hyperboliques. L'analyse théorique démontre que RoPE est un cas particulier de formulation généralisée de HoPE, résolvant fondamentalement le problème d'oscillation de RoPE en imposant une diminution monotone des poids d'attention à mesure que la distance inter-jetons augmente. Des résultats expérimentaux approfondis, notamment des évaluations de perplexité sur plusieurs tests de séquences étendues, démontrent que HoPE surpasse systématiquement les méthodes de codage positionnel existantes. Ces résultats soulignent la capacité accrue de HoPE à représenter et à généraliser les dépendances à longue portée. Les données et le code seront rendus publics.
