본 연구에서는 오프라인 안전 모방 학습(IL) 문제를 다룹니다. 온라인 상호작용이 위험할 수 있고, 각 타임스텝에서 보상과 안전 비용 정보를 정확하게 지정하기 어려운 현실 세계에서, 바람직하지 않거나 위험한 행동을 나타내는 궤적을 수집하는 것이 가능합니다. 이러한 궤적을 비선호 궤적이라고 합니다. 본 연구의 목표는 시연을 모방하는 표준 IL과 달리, 에이전트가 비선호 궤적을 사용하여 위험한 행동을 피하도록 학습하는 것입니다. 이를 위해, \textit{Multiple Instance Learning}을 통해 상태-행동 쌍이 위험한지 예측하는 매개변수화된 비용을 학습하는 새로운 접근 방식인 SafeMIL을 제안합니다. 학습된 비용은 비선호 행동을 피하는 데 사용되어 안전을 우선시하는 정책을 생성합니다. 실험 결과, 제안하는 방법이 보상 성능을 저하시키지 않으면서 비용 제약을 충족하는 더욱 안전한 정책을 학습하여 여러 기준선을 능가하는 것으로 나타났습니다.
