Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Object-Centric World Models for Causality-Aware Reinforcement Learning

Created by
  • Haebom
Category
Empty

저자

Yosuke Nishimoto, Takashi Matsubara

개요

STICA(Slot Transformer Imagination with CAusality-aware reinforcement learning)는 객체 중심 Transformer를 세계 모델로 사용하고, 인과 관계를 인식하는 정책 및 가치 네트워크를 활용하는 통합 프레임워크입니다. STICA는 각 관측을 객체 중심 토큰 세트로 표현하여 세계 모델이 토큰 수준의 동역학과 상호 작용을 예측할 수 있도록 합니다. 정책 및 가치 네트워크는 토큰 수준의 인과 관계를 추정하고 이를 어텐션 레이어에서 사용하여 인과 관계에 기반한 의사 결정을 수행합니다. 객체가 풍부한 벤치마크에서 STICA는 최첨단 에이전트보다 샘플 효율성과 최종 성능 측면에서 모두 뛰어난 결과를 보입니다.

시사점, 한계점

객체 중심 표현을 통해 고차원적이고 비정상적이며 복잡한 환경을 효율적으로 모델링합니다.
인과 관계를 고려한 정책 및 가치 네트워크를 통해 의사 결정 능력을 향상시킵니다.
샘플 효율성과 최종 성능 모두에서 기존 에이전트를 능가하는 성능을 보입니다.
Transformer 기반 모델의 복잡성으로 인해 계산 비용이 높을 수 있습니다.
실제 세계의 다양한 환경에 대한 일반화 능력을 추가로 평가해야 합니다.
👍