Sample-Efficient Neurosymbolic Deep Reinforcement Learning

Created by

Haebom

저자

Celeste Veronese, Alessandro Farinelli, Daniele Meli

💡 개요

본 논문은 심층 강화학습(DRL)이 요구하는 방대한 학습 데이터와 작은 규모의 훈련 환경을 벗어난 일반화 능력 부족 문제를 해결하기 위해, 배경 지식으로서의 기호적(symbolic) 정보를 통합하는 신경-기호 강화학습(neuro-symbolic DRL) 방법을 제안합니다. 간단한 환경에서 습득된 부분 정책을 논리 규칙으로 표현하고, 이를 통해 탐색 시 행동 분포를 편향시키거나 가치 함수를 조정함으로써 학습을 가속화합니다. 이를 통해 특히 희소 보상 환경이나 장기 계획이 필요한 복잡한 문제에서 샘플 효율성, 일반화 능력, 그리고 해석 가능성을 크게 향상시킵니다.

🔑 시사점 및 한계

•

기존 DRL의 낮은 샘플 효율성과 일반화 성능을 향상시키기 위해 기호적 지식을 활용하는 효과적인 신경-기호적 접근 방식을 제시했습니다.

•

학습된 부분 정책을 논리 규칙으로 표현하고 이를 온라인 추론에 활용하는 메커니즘은 DRL의 학습 과정에 유용한 사전 정보를 제공하며, 특히 희소 보상 환경에서 강력한 성능을 보였습니다.

•

제안된 방법론은 학습 과정의 해석 가능성과 신뢰성을 높이는 동시에, 복잡하고 보이지 않는 과제에 대한 일반화 능력을 향상시킬 수 있습니다.

•

논문에서 제시된 과제는 주로 그리드월드 환경이었으므로, 더 복잡하고 현실적인 환경에서의 검증과, 다양한 종류의 기호적 지식 통합 방식에 대한 추가 연구가 필요합니다.

PDF 보기

Made with Slashpage