인공지능 분야에서 인간과 기계의 정렬은 중요한 과제이며, 특히 강화 학습에서 보상 함수 설계의 문제점이 존재한다. 본 논문은 멀티 모달 LLM을 활용하여 보상 함수를 생성하고 개선하는 파이프라인인 VIRAL을 제안한다. VIRAL은 주어진 환경과 목표 프롬프트 또는 주석이 달린 이미지를 기반으로 자율적으로 보상 함수를 생성하고 대화형으로 개선한다. 개선 과정은 인간의 피드백을 통합하거나 에이전트의 정책을 비디오 형식으로 설명하는 비디오 LLM이 생성한 설명을 통해 안내받을 수 있다. 5개의 Gymnasium 환경에서 VIRAL을 평가한 결과, 새로운 행동 학습을 가속화하고 사용자의 의도와 더 잘 일치하는 결과를 보였다.
