본 논문은 최근 인공지능(AI) 모델의 성공에도 불구하고, 특히 심층 신경망 사용으로 인해 내부 메커니즘의 불투명성이라는 문제점을 다룹니다. AI 모델의 내부 메커니즘을 이해하고 출력을 설명하기 위해 제안된 여러 방법들을 설명 가능한 AI (XAI) 분야로 묶어 연구합니다. 특히, 강화 학습으로 학습한 에이전트의 행동을 설명하는 XAI의 하위 분야인 설명 가능한 강화 학습 (XRL)에 초점을 맞추고, "무엇(What)"과 "어떻게(How)"라는 두 가지 질문을 기반으로 직관적인 분류 체계를 제안합니다. "무엇"은 설명 대상에, "어떻게"는 설명 방식에 초점을 맞춥니다. 이 분류 체계를 사용하여 250편 이상의 논문에 대한 최신 연구 동향을 검토하고, XRL과 관련된 유망한 연구 분야를 제시하며, XRL 분야의 필요성을 제시합니다.