Bài báo này đánh giá một cách có hệ thống các phương pháp trừu tượng hóa trạng thái trong Học tăng cường sâu (DRL) để ước tính các số liệu hành động (cụ thể là các số liệu tương tự) và áp dụng chúng vào các không gian biểu diễn. Mặc dù các nghiên cứu trước đây đã chứng minh tính mạnh mẽ đối với nhiễu không liên quan đến tác vụ, nhưng nguồn gốc của độ chính xác và hiệu suất ước tính số liệu được cải thiện vẫn chưa rõ ràng. Nghiên cứu này đánh giá năm phương pháp gần đây, về mặt khái niệm được thống nhất là nhúng đẳng cự với nhiều tùy chọn thiết kế khác nhau, sử dụng các cài đặt nhiễu khác nhau trên 20 tác vụ dựa trên trạng thái và 14 tác vụ dựa trên pixel (tổng cộng 370 cấu hình tác vụ). Ngoài kết quả trả về cuối cùng, chúng tôi đánh giá hệ số khử nhiễu để định lượng khả năng lọc nhiễu của bộ mã hóa. Để làm rõ hơn hiệu quả của học số liệu, chúng tôi đề xuất và đánh giá một cài đặt ước tính số liệu độc lập, trong đó bộ mã hóa chỉ bị ảnh hưởng bởi mất số liệu. Cuối cùng, chúng tôi phát hành một cơ sở mã nguồn mở dạng mô-đun để tăng cường khả năng tái tạo và hỗ trợ nghiên cứu học số liệu trong tương lai.
