DiffTORI: Differentiable Trajectory Optimization for Deep Reinforcement and Imitation Learning
Created by
Haebom
저자
Weikang Wan, Ziyu Wang, Yufei Wang, Zackory Erickson, David Held
개요
본 논문은 차별 가능한 궤적 최적화(Differentiable Trajectory Optimization)를 정책 표현으로 사용하여 강화 학습 및 모방 학습을 위한 행동을 생성하는 DiffTORI를 소개합니다. 궤적 최적화는 제어 분야에서 널리 사용되는 강력한 알고리즘으로, 비용 함수와 동역학 함수로 매개변수화됩니다. 핵심은 차별 가능한 궤적 최적화의 최근 발전을 활용하여 궤적 최적화 매개변수에 대한 손실의 기울기를 계산하는 것입니다. 결과적으로, 궤적 최적화의 비용 및 동역학 함수를 end-to-end로 학습할 수 있습니다. DiffTORI는 궤적 최적화 과정을 통해 정책 기울기 손실을 차별화함으로써 작업 성능을 직접 극대화하도록 동역학 모델을 학습하여 기존 모델 기반 강화 학습 알고리즘의 "목표 불일치" 문제를 해결합니다. 고차원 감각 관측치를 사용하는 표준 로봇 조작 작업 세트에서 모방 학습에 대한 DiffTORI의 성능을 벤치마킹하고, 피드포워드 정책 클래스, 에너지 기반 모델(EBM) 및 확산 모델과 비교합니다. 고차원 이미지 및 포인트 클라우드 입력을 사용하는 15개의 모델 기반 강화 학습 작업과 35개의 모방 학습 작업에서 DiffTORI는 기존 최첨단 방법을 능가합니다. 코드는 https://github.com/wkwan7/DiffTORI 에서 확인할 수 있습니다.
