Safe Flow Q-Learning: Offline Safe Reinforcement Learning with Reachability-Based Flow Policies

작성자

Haebom

카테고리

Empty

저자

Mumuksh Tayal, Manan Tayal, Ravi Prakash

💡 개요

본 논문은 고정된 데이터셋에서 안전 제약을 만족하며 보상을 최대화하는 오프라인 안전 강화학습 문제를 다룹니다. 기존 방법들의 실시간 제어에서의 한계를 극복하기 위해, Hamilton-Jacobi 도달 가능성 이론에서 영감을 받은 안전 가치 함수와 효율적인 단일 스텝 정책을 결합한 Safe Flow Q-Learning (SafeFQL)을 제안합니다. SafeFQL은 안전 가치를 학습하고, 행동 복제를 통해 정책을 훈련하며, 이를 최종적으로 배치 없이 안전한 행동 선택이 가능한 단일 스텝 액터로 압축합니다.

🔑 시사점 및 한계

•

기존 오프라인 안전 강화학습 방법론이 실시간 제어에서 겪는 지연 문제 및 불충분한 안전성을 개선할 수 있습니다.

•

Hamilton-Jacobi 도달 가능성 기반의 안전 가치 함수와 효율적인 정책 학습을 통해 실시간 적용 가능한 안전 강화학습 프레임워크를 제시합니다.

•

안전 제약 위반을 줄이면서도 기존 연구들과 동등하거나 우수한 성능을 달성하며, 특히 추론 지연 시간을 크게 단축하는 장점을 보입니다.

•

제안된 방법론의 오프라인 학습 비용이 기존 방법들보다 다소 높을 수 있으며, 복잡하고 동적인 환경에서의 일반화 성능에 대한 추가적인 연구가 필요합니다.

PDF 보기

Made with Slashpage