Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

State-Covering Trajectory Stitching for Diffusion Planners

Created by
  • Haebom

저자

Kyowoon Lee, Jaesik Choi

개요

본 논문은 강화학습에서 장기 계획을 위한 확산 기반 생성 모델의 성능 향상을 목표로 한다. 특히 오프라인 데이터셋을 사용하는 경우, 기존 모델들은 훈련 데이터의 질과 다양성에 의해 성능이 제한되는데, 이는 훈련 분포 밖의 작업이나 더 긴 계획 수평선으로의 일반화를 어렵게 만든다. 이를 해결하기 위해, 본 논문은 State-Covering Trajectory Stitching (SCoTS)라는 새로운 보상 없는 궤적 증강 방법을 제안한다. SCoTS는 시간적 거리를 보존하는 잠재 표현을 학습하여 환경의 기저 시간 구조를 포착하고, 방향 탐색과 참신성에 따라 반복적으로 궤적 세그먼트를 연결하여 잠재 공간을 효과적으로 덮고 확장한다. 실험 결과, SCoTS는 연결과 장기 추론이 필요한 오프라인 목표 조건 벤치마크에서 확산 플래너의 성능과 일반화 능력을 크게 향상시키는 것으로 나타났으며, 다양한 환경에서 널리 사용되는 오프라인 목표 조건 강화학습 알고리즘의 성능도 향상시킨다.

시사점, 한계점

시사점:
SCoTS는 오프라인 강화학습에서 확산 기반 생성 모델의 성능 및 일반화 능력을 향상시키는 효과적인 방법을 제시한다.
보상 없는 궤적 증강을 통해 데이터 효율성을 높이고, 훈련 데이터의 제한을 극복한다.
다양한 환경과 알고리즘에서의 성능 향상을 통해 폭넓은 적용 가능성을 보여준다.
한계점:
SCoTS의 성능은 잠재 표현 학습의 질에 의존하며, 복잡한 환경에서는 잠재 표현 학습이 어려울 수 있다.
궤적 연결 과정에서 최적의 연결 전략을 찾는 것이 중요하며, 이에 대한 추가적인 연구가 필요하다.
특정 유형의 환경이나 작업에 대해서는 일반화 능력이 제한될 수 있다.
👍