Decoupling Return-to-Go for Efficient Decision Transformer

Created by

Haebom

저자

Yongyi Wang, Hanyu Liu, Lingfeng Li, Bozhou Chen, Ang Li, Qirui Zheng, Xionghui Yang, Wenxin Li

💡 개요

본 논문은 오프라인 강화학습에서 효과적인 시퀀스 모델링 접근법인 Decision Transformer(DT)가 Return-to-Go(RTG)를 사용하여 궤적 품질을 구별하고 추론 시 행동 생성을 안내하는 방식의 불필요함을 지적합니다. 이를 해결하기 위해, 제안된 Decoupled DT(DDT)는 트랜스포머가 관측 및 행동 시퀀스만 처리하도록 단순화하고 최신 RTG를 사용하여 행동 예측을 안내합니다. DDT는 성능 향상과 계산 비용 감소를 모두 달성하며, 다양한 오프라인 강화학습 태스크에서 DT 및 최신 DT 변형보다 우수한 성능을 보입니다.

🔑 시사점 및 한계

•

DT의 RTG 사용 방식에 숨겨진 불필요함을 발견하고 이를 개선할 수 있는 새로운 아키텍처를 제시했습니다.

•

제안된 DDT는 기존 DT의 성능을 능가하며 계산 효율성을 높여 오프라인 강화학습 분야의 발전에 기여합니다.

•

연구는 특정 오프라인 강화학습 태스크에 집중되었으므로, 더 다양한 환경에서의 DDT의 일반화 성능에 대한 추가 연구가 필요합니다.

PDF 보기

Made with Slashpage