본 논문은 동적 이산 선택(DDC) 모델, 즉 기계 학습에서 오프라인 최대 엔트로피 정규화 역강화 학습(오프라인 MaxEnt-IRL)의 추정 문제를 연구합니다. 목표는 오프라인 행동 데이터로부터 에이전트 행동을 지배하는 보상 또는 Q* 함수를 복구하는 것입니다. 본 논문에서는 선형 매개변수화된 보상의 제한적인 가정 없이 이러한 문제를 해결하기 위한 전역 수렴 기반 경사 하강법을 제안합니다. 본 연구의 새로운 점은 벨만 방정식에서 명시적인 상태 전이 확률 추정이 필요하지 않은 경험적 위험 최소화(ERM) 기반 IRL/DDC 프레임워크를 도입한 것입니다. 또한, 제안된 방법은 신경망과 같은 비모수적 추정 기법과 호환됩니다. 따라서 제안된 방법은 고차원, 무한 상태 공간으로 확장될 가능성이 있습니다. 본 연구의 핵심 이론적 통찰력은 벨만 잔차가 Polyak-Lojasiewicz (PL) 조건(강한 볼록성보다 약하지만 빠른 전역 수렴 보장을 위해 충분한 특성)을 만족한다는 것입니다. 일련의 합성 실험을 통해 제안된 방법이 벤치마크 방법 및 최첨단 대안을 일관되게 능가함을 보여줍니다.
