Bài báo này đề xuất Mã hóa Vị trí Quay Hyperbolic (HoPE), một phương pháp mã hóa vị trí mới lấy cảm hứng từ phép biến đổi Lorenz của hình học hyperbolic, nhằm giải quyết những hạn chế của các cơ chế mã hóa vị trí được sử dụng để mô hình hóa cấu trúc chuỗi và các phụ thuộc tầm xa trong các mô hình Transformer. Trong khi Mã hóa Vị trí Quay (RoPE) thông thường cản trở việc mô hình hóa các phụ thuộc tầm xa do các mẫu chú ý dao động, HoPE khắc phục vấn đề này bằng cách áp dụng phép quay Lorenz vào các biểu diễn token sử dụng các hàm hyperbolic. Phân tích lý thuyết chứng minh rằng RoPE là một trường hợp đặc biệt của một công thức tổng quát của HoPE, và HoPE về cơ bản giải quyết vấn đề của RoPE bằng cách thực thi sự giảm đơn điệu trong trọng số chú ý khi khoảng cách giữa các token tăng lên. Kết quả thực nghiệm sử dụng nhiều chuẩn mực trình tự mở rộng khác nhau chứng minh rằng HoPE vượt trội hơn các phương pháp mã hóa vị trí hiện có.
