Bài báo này phân tích toàn diện các xu hướng nghiên cứu về cơ chế chú ý hiệu quả nhằm giải quyết vấn đề độ phức tạp về thời gian và bộ nhớ bậc hai của cơ chế tự chú ý trong kiến trúc dựa trên Transformer, khuôn khổ cốt lõi của các mô hình ngôn ngữ quy mô lớn. Cụ thể, chúng tôi tập trung vào hai phương pháp chính—chú ý tuyến tính và chú ý thưa thớt—tích hợp các cải tiến thuật toán và cân nhắc phần cứng. Bằng cách phân tích các trường hợp áp dụng cơ chế chú ý hiệu quả cho các mô hình ngôn ngữ được huấn luyện trước quy mô lớn, cả hai kiến trúc đều chỉ bao gồm sự chú ý hiệu quả và thiết kế lai kết hợp các thành phần cục bộ và toàn cục, chúng tôi mong muốn cung cấp nền tảng cho việc thiết kế các mô hình ngôn ngữ có khả năng mở rộng và hiệu quả.
