본 논문은 부분적으로 관측 가능한 마르코프 결정 과정(POMDP) 문제에서 효율적이고 모델 공식화에 무관한 추론을 제공하는 심층 신뢰 마르코프 모델(DBMM)이라는 새로운 심층 학습 기반 아키텍처를 제시합니다. POMDP 프레임워크는 관측 불확실성 하에서 순차적 의사결정 문제를 모델링하고 해결할 수 있게 합니다. 복잡하고 고차원적인 부분적으로 관측 가능한 환경에서 베이즈 정리나 샘플링 알고리즘과 같은 정확한 계산 기반의 기존 추론 방법은 확장성이 떨어집니다. 또한, 정확한 전이 역학을 학습하기 위해 실제 상태가 제공되지 않을 수도 있습니다. DBMM은 심층 마르코프 모델을 부분적으로 관측 가능한 의사결정 프레임워크로 확장하고, 변분 추론 방법을 통해 사용 가능한 관측 데이터에만 전적으로 기반하여 효율적인 신념 추론을 허용합니다. 신경망의 강력함을 활용하여 DBMM은 시스템 역학에서 비선형 관계를 추론하고 시뮬레이션할 수 있으며, 고차원 및 이산 또는 연속 변수를 갖는 문제로 자연스럽게 확장됩니다. 또한, 신경망 매개변수는 데이터 가용성에 따라 효율적으로 동적으로 업데이트될 수 있습니다. 따라서 DBMM은 신념 변수를 추론하는 데 사용할 수 있으며, 이를 통해 신념 공간에 대한 POMDP 솔루션을 도출할 수 있습니다. 본 논문에서는 이산 및 연속 변수를 포함하는 벤치마크 문제에서 DBMM의 모델 공식화에 무관한 추론 능력을 평가하여 제안된 방법론의 효과를 평가합니다.
