본 논문은 사용자의 기대치를 충족하는 안전하고 설명 가능한 AI 에이전트 행동 생성을 위한 새로운 학습 접근법인 Safe Explicable Policy Search (SEPS)를 제시합니다. SEPS는 안전성 제약 조건 하에서 설명 가능성 점수를 극대화하는 제약 최적화 문제로 공식화됩니다. 기존의 Constrained Policy Optimization과 Explicable Policy Search의 장점을 결합하여, 안전성과 성능을 모두 고려한 설명 가능한 행동을 학습합니다. safety-gym 환경과 실제 로봇 실험을 통해 SEPS의 효과를 검증하고, 인간-AI 협업에서의 실용성을 보여줍니다.
