본 논문은 로봇이 시연으로부터 보상 함수를 학습할 때, 제한된 데이터로 인해 발생하는 과적합 문제를 해결하기 위해, 자연어를 활용하는 새로운 프레임워크인 Masked Inverse Reinforcement Learning (Masked IRL)을 제안합니다. Masked IRL은 대규모 언어 모델(LLM)을 사용하여 시연이 '어떻게' 수행하는지를 보여주고, 언어가 '무엇'이 중요한지를 명시하도록 함으로써 두 입력 유형의 장점을 결합합니다. 특히, 상태 관련 마스크를 언어 지시에서 추론하여 관련 없는 상태 구성 요소에 대한 불변성을 적용하고, 모호한 지시 사항의 경우 LLM 추론을 통해 시연의 맥락에서 이를 명확하게 합니다. 시뮬레이션 및 실제 로봇 실험에서 Masked IRL은 기존의 언어 기반 IRL 방법보다 최대 15% 더 우수한 성능을 보였으며, 최대 4.7배 적은 데이터를 사용하여 샘플 효율성, 일반화 및 모호한 언어에 대한 견고성이 향상되었음을 입증했습니다.
