Quantifying First-Order Markov Violations in Noisy Reinforcement Learning: A Causal Discovery Approach

Created by

Haebom

저자

Naveen Mysore

개요

본 논문은 강화학습(RL)에서 마르코프 가정(Markov assumption)의 위반을 검출하는 체계적인 방법론을 제안한다. 부분 상관 기반의 인과 발견 과정(PCMCI)과 새로운 마르코프 위반 점수(MVS)를 결합하여, 잡음이나 불완전한 상태 정보로 인해 마르코프 성질이 깨질 때 발생하는 다단계 의존성을 측정한다. CartPole, Pendulum, Acrobot과 같은 고전적인 제어 작업을 통해 목표 잡음 및 차원 생략이 RL 성능과 측정된 마르코프 일관성에 미치는 영향을 보여준다. 놀랍게도, 상당한 관측 잡음이 특정 영역(예: Acrobot)에서는 강력한 다지연 의존성을 유발하지 못하는 경우도 있다. 반면, 차원 축소 조사는 일부 상태 변수(예: CartPole 및 Pendulum의 각속도)를 제외하면 수익률이 크게 감소하고 MVS가 증가하는 반면, 다른 차원을 제거하는 것은 최소한의 영향을 미친다는 것을 보여준다. 이러한 결과는 효과적인 단일 단계 학습을 유지하기 위해 가장 인과적으로 중요한 차원을 찾고 보호하는 것이 중요함을 강조한다. 부분 상관 검정과 RL 성능 결과를 통합하여 제안된 접근 방식은 마르코프 가정이 언제 어디서 위반되는지 정확하게 식별한다. 이 프레임워크는 강력한 정책 개발, 표현 학습 정보 제공 및 실제 RL 시나리오에서 부분 관측 가능성 문제 해결을 위한 원칙적인 메커니즘을 제공한다. 모든 코드와 실험 로그에는 재현성을 위해 액세스할 수 있다 (https://github.com/ucsb/markovianess).