Dynamic Sparsity: Challenging Common Sparsity Assumptions for Learning World Models in Robotic Reinforcement Learning Benchmarks
Created by
Haebom
Category
Empty
저자
Muthukumar Pandaram, Jakob Hollenstein, David Drexel, Samuele Tosatto, Antonio Rodriguez-Sanchez, Justus Piater
개요
본 논문은 강화 학습의 샘플 효율성을 높이기 위해 사용되는 동역학 모델(world model)의 인과 그래프가 희소하다는 가정에 대해 비판적으로 검토합니다. MuJoCo Playground 벤치마크 환경에서 로봇 강화 학습 작업을 분석하여, 상태 및 시간적 희소성이 실제로 존재하는지, 특히 인과 그래프의 희소성이 상태에 따라 달라지는지, 국소적 동역학이 희소하게 변하는지를 조사합니다. 연구 결과는 전반적인 희소성은 드물지만, 상태 의존적 희소성이 존재하며 시간적으로 국소화된 클러스터 구조를 갖는다는 것을 보여줍니다.
시사점, 한계점
•
시사점:
◦
동역학 모델의 인과 그래프가 전반적으로 희소하다는 기존의 가정에 대한 문제 제기
◦
실제 환경에서는 상태 의존적 희소성이 나타나며, 이는 시간적으로 국소화된 클러스터 구조를 가짐
◦
동역학 학습에 적용될 수 있는, 현실 세계의 상태 의존적 희소성을 반영하는 구체적인 귀납적 편향의 필요성 강조
•
한계점:
◦
MuJoCo Playground 벤치마크 환경에 국한된 분석
◦
특정 로봇 강화 학습 환경에 대한 연구 결과이므로, 다른 환경으로의 일반화에 대한 추가 연구 필요
◦
상태 의존적 희소성의 구체적인 형태와 이를 효과적으로 활용할 수 있는 방법론에 대한 추가 연구 필요
