Bài báo này trình bày một khuôn khổ học tăng cường ngoại tuyến mới bằng cách đưa phân kỳ đối xứng vào tối ưu hóa chính sách điều chỉnh hành vi (BRPO). Các phương pháp hiện có tập trung vào phân kỳ bất đối xứng, chẳng hạn như KL, để có được các chính sách chính quy hóa phân tích và các mục tiêu tối thiểu hóa thực tế. Bài báo này cho thấy phân kỳ đối xứng không cho phép các chính sách chính quy hóa phân tích như một chiến lược chính quy hóa và có thể dẫn đến các vấn đề số học dưới dạng tổn thất. Để giải quyết những vấn đề này, chúng tôi sử dụng chuỗi Taylor của phân kỳ $f$. Cụ thể, chúng tôi chứng minh rằng các chính sách phân tích có thể thu được thông qua một chuỗi hữu hạn. Đối với tổn thất, phân kỳ đối xứng có thể được phân tích thành một số hạng bất đối xứng và một số hạng đối xứng có điều kiện, và số hạng sau được khai triển Taylor để giảm bớt các vấn đề số học. Do đó, chúng tôi đề xuất thuật toán Đối xứng $f$ Actor-Critic (S$f$-AC), thuật toán BRPO thực tế đầu tiên sử dụng phân kỳ đối xứng. Xấp xỉ phân phối và kết quả thực nghiệm MuJoCo xác nhận rằng S$f$-AC đạt được hiệu suất cạnh tranh.
