Bài báo này nghiên cứu xem kiến trúc Transformer có thể mô phỏng chính xác các cơ chế chú ý tùy ý hay không. Các nghiên cứu trước đây đã thiết lập khả năng của Transformers để xấp xỉ các mẫu thuật toán cụ thể theo các giả định kiến trúc hạn chế, nhưng chúng chỉ cung cấp các đảm bảo xác suất với các phương pháp tiếp cận dựa trên dữ liệu. Trong bài báo này, chúng tôi trình bày một giải pháp thuật toán xây dựng một trình mô phỏng mục đích chung $\mathcal{U}$ bao gồm các bộ mã hóa Transformer, sao chép các đầu ra chú ý và ma trận cơ bản và các hoạt động kích hoạt giống hệt nhau thông qua RASP (một khuôn khổ chính thức cho tính toán Transformer). Điều này cung cấp bằng chứng đầu tiên về sự tồn tại của một giải pháp thuật toán độc lập với dữ liệu cho một vấn đề trước đây chỉ được xấp xỉ bằng cách học.
