Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Soft Conflict-Resolution Decision Transformer for Offline Multi-Task Reinforcement Learning

Created by
  • Haebom
Category
Empty

저자

Shudong Wang, Xinfei Wang, Chenhao Zhang, Shanchen Pang, Haiyuan Gui, Wenhao Ji, Xiaojian Liao

개요

Multi-task reinforcement learning (MTRL)에서 발생하는 gradient conflict 문제를 해결하기 위해, 파라미터 중요도 기반의 Soft Conflict-resolution (SoCo-DT) 방법을 제안한다. Fisher 정보를 활용하여 중요한 파라미터를 유지하고, conflict가 있는 파라미터를 억제하기 위해 마스크 값을 동적으로 조정한다. 또한, Interquartile Range (IQR) 기반의 동적 sparsity 조정 전략을 도입하여 task-specific thresholding scheme을 구성하고, 비대칭 코사인 annealing schedule을 통해 적응적인 sparsity 진화를 가능하게 한다. Meta-World 벤치마크에서 기존 SOTA 대비 MT50에서 7.6%, suboptimal dataset에서 10.5% 성능 향상을 보였다.

시사점, 한계점

시사점:
Gradient conflict 문제를 해결하기 위한 새로운 접근 방식 제시 (Soft Conflict-resolution).
파라미터 중요도와 동적 sparsity 조절을 통해 task 간 knowledge sharing 및 성능 향상 도모.
Meta-World 벤치마크에서 SOTA 달성.
한계점:
구체적인 한계점은 논문 내용에서 명시되지 않음. (논문 요약에 한계점 관련 내용 부재)
👍