Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Toward Explainable Offline RL: Analyzing Representations in Intrinsically Motivated Decision Transformers

Created by
  • Haebom
Category
Empty

저자

Leonardo Guiducci, Antonio Rizzo, Giovanna Maria Dimitri

개요

Elastic Decision Transformers (EDTs)는 오프라인 강화 학습에서 성공적이며, 불확실성 하에서 시퀀스 모델링과 의사 결정을 통합하는 유연한 프레임워크를 제공한다. 내적 동기 부여 메커니즘을 EDTs에 통합하면 탐험 작업에서 성능이 향상되지만, 이러한 개선의 근본적인 표현 메커니즘은 탐구되지 않았다. 본 논문에서는 내적 동기 부여가 EDTs에서 학습된 임베딩을 어떻게 형성하는지 분석하기 위해 체계적인 사후 설명 가능성 프레임워크를 제시한다. 임베딩 속성(공분산 구조, 벡터 크기, 직교성 포함)의 통계적 분석을 통해, 서로 다른 내적 동기 부여 변형이 근본적으로 다른 표현 구조를 생성한다는 것을 밝힌다. 환경별 상관 관계 패턴이 임베딩 메트릭과 성능 간에 존재하며, 이는 내적 동기 부여가 정책 학습을 향상시키는 이유를 설명한다.

시사점, 한계점

내적 동기 부여는 단순한 탐험 보너스를 넘어, 생물학적으로 타당한 방식으로 임베딩 기하학을 형성하는 표현적 사전 역할을 한다.
내적 동기 부여는 더 나은 의사 결정을 용이하게 하는 환경별 조직 구조를 생성한다.
본 연구는 EDTs 내에서 내적 동기 부여가 어떻게 표현 구조를 변화시키는지에 초점을 맞추어, 구체적인 알고리즘 설계에 대한 직접적인 지침은 제공하지 않을 수 있다.
분석은 특정 EDTs 아키텍처 및 내적 동기 부여 변형에 국한될 수 있으며, 다른 설정에서의 일반화 가능성을 추가 연구가 필요하다.
👍