Bài báo này tập trung vào lượng hóa sự bất định trong học tăng cường, đặc biệt là trong học sâu Q-learning Bayesian. Không giống như các nghiên cứu trước đây chủ yếu tập trung vào việc cải thiện độ chính xác của các phép xấp xỉ phân phối hậu nghiệm, bài báo này nghiên cứu độ chính xác của các giả định phân phối tiên nghiệm và xác suất tạo nên phân phối hậu nghiệm. Bài báo chứng minh "hiệu ứng hậu nghiệm lạnh" trong học sâu Q-learning Bayesian, theo đó việc hạ thấp nhiệt độ của phân phối hậu nghiệm giúp cải thiện hiệu suất, trái ngược với lý thuyết. Để làm sáng tỏ nguyên nhân của hiện tượng này, chúng tôi xác minh các giả định liên quan đến phân phối xác suất và phân phối tiên nghiệm thường được sử dụng trong các thuật toán không mô hình Bayesian, và chứng minh bằng thực nghiệm rằng giả định xác suất Gaussian thường bị vi phạm. Do đó, việc phát triển các phân phối xác suất và phân phối tiên nghiệm phù hợp hơn là rất quan trọng cho các nghiên cứu học tăng cường Bayesian trong tương lai, và chúng tôi đề xuất một phương pháp để cải thiện phân phối tiên nghiệm trong học sâu Q-learning nhằm nâng cao hiệu suất.
