Dynamic Sparsity: Challenging Common Sparsity Assumptions for Learning World Models in Robotic Reinforcement Learning Benchmarks
Created by
Haebom
Category
Empty
저자
Muthukumar Pandaram, Jakob Hollenstein, David Drexel, Samuele Tosatto, Antonio Rodriguez-Sanchez, Justus Piater
개요
본 논문은 강화 학습의 샘플 효율성을 향상시키기 위해 사용되는 동역학 모델(world model)의 인과 그래프가 희소하다는 가정에 대한 검증을 수행한다. MuJoCo Playground 벤치마크 환경에서 로봇 강화 학습 작업을 분석하여, 상태 및 시간적 희소성이 실제로 나타나는지, 그리고 희소성이 상태 의존적인지 여부를 조사한다. 연구 결과는 전반적인 희소성은 드물지만, 상태 의존적인 국소적 희소성이 특정 상태 차원에 영향을 미치는 군집으로 나타난다는 것을 보여준다.
시사점, 한계점
•
시사점:
◦
동역학 모델의 인과 그래프에 대한 희소성 가정은 일반적으로 성립하지 않을 수 있다.
◦
실제 환경에서는 상태 의존적인 국소적 희소성이 존재하며, 특정 상태에서 군집을 이루는 경향이 있다.
◦
실제 동역학의 상태 의존적 희소성 구조를 반영하는 새로운 유도 편향(inductive bias)의 필요성을 제시한다.
•
한계점:
◦
MuJoCo Playground 벤치마크 환경에 국한된 분석이므로, 다른 환경으로의 일반화에는 주의가 필요하다.
