본 논문은 강화학습(RL) 에이전트가 사람이 이해할 수 있는 개념을 기반으로 의사결정을 내리는 해석 가능한 정책을 학습하는 새로운 방법인 LICORICE를 제시합니다. 기존의 개념 병목 모델들은 훈련 중 지속적인 개념 주석이 필요하다는 한계점이 있었지만, LICORICE는 소량의 데이터만 주석하여 효율적으로 개념 기반 정책을 학습합니다. LICORICE는 개념 학습과 RL 훈련을 병렬적으로 진행하고, 정보가 풍부한 데이터 포인트를 선택하기 위해 앙상블을 사용하며, 개념 데이터의 상관관계를 줄이는 세 가지 주요 기여를 합니다. 실험 결과, LICORICE는 다양한 환경에서 성능 저하 없이 인간의 주석 작업량을 크게 줄이는 효과를 보였으며, VLMs를 자동 개념 주석기로 활용하는 가능성도 탐색하였습니다.
