본 논문은 심층 신경망을 이용한 강화 학습에서 심볼릭 제어 및 가이드를 가능하게 하는 학습 아키텍처를 제안합니다. 기존의 Dueling Deep Q-Networks (DuelDQN) 아키텍처에 Logic Tensor Networks (LTNs)의 신경-심볼릭 프레임워크 기반 모듈을 추가한 새로운 모듈식 접근 방식인 SymDQN을 소개합니다. 이 모듈은 행동 정책 학습을 안내하고 강화 학습 에이전트가 환경에 대한 추론과 일치하는 행동을 보이도록 합니다. 5x5 그리드 환경에서 다양한 모양(각 모양은 특정 보상과 연관)을 만나는 에이전트를 사용하여 모듈에 대한 ablation study를 수행했습니다. 기저 DuelDQN은 이 환경에서 에이전트의 최적 행동을 학습하려고 시도하고, 모듈은 모양 인식과 보상 예측을 용이하게 합니다. 본 논문은 제안된 아키텍처가 성능 및 에이전트의 정밀도 측면에서 학습을 크게 향상시킨다는 것을 보여줍니다. SymDQN의 모듈성은 강화 학습에서 신경 및 심볼릭 접근 방식을 결합하는 복잡성을 반영할 수 있게 합니다.
