Sign In

Neural DNF-MT: A Neuro-symbolic Approach for Learning Interpretable and Editable Policies

Created by
  • Haebom
Category
Empty

저자

Kexin Gu Baugh, Luke Dickens, Alessandra Russo

개요

본 논문은 심층 강화 학습 모델의 블랙박스 특성으로 인한 해석 어려움을 해결하기 위해, 신경 기호 접근 방식인 Neural DNF-MT를 제안합니다. Neural DNF-MT는 심층 행위자-비평가 알고리즘을 이용한 학습을 가능하게 하는 미분 가능한 모델이며, 동시에 표준 논리 프로그램(이항 또는 확률적)으로 표현되는 해석 가능한 정책으로 직접 변환될 수 있도록 설계되었습니다. 또한, 추상적 특징을 추출하는 추가 계층을 포함하여 술어 발명의 형태를 제공합니다. 결정적 정책의 이항 표현은 편집되어 신경 모델에 다시 통합될 수 있어 수동적 개입과 학습된 정책의 적응을 용이하게 합니다. 다양한 관측 형태로부터 결정적 또는 확률적 행동을 학습하는 여러 과제에 대해 평가한 결과, 제안된 모델이 해석 가능한 정책을 제공하면서 경쟁적인 블랙박스 방식과 동등한 성능을 보임을 확인했습니다.

시사점, 한계점

시사점:
심층 강화 학습 모델의 해석성 문제를 해결하는 새로운 신경 기호 접근 방식 제시
학습된 정책을 해석 가능한 논리 프로그램으로 직접 변환 가능
수동적 개입과 학습된 정책의 적응 용이
경쟁적인 블랙박스 방식과 동등한 성능 달성
한계점:
제안된 방법의 일반화 성능에 대한 추가적인 연구 필요
다양한 복잡한 문제에 대한 적용 가능성 검증 필요
술어 발명의 효율성 및 한계에 대한 심층적인 분석 필요
👍