본 논문은 인터넷 규모의 제어 데이터 부족으로 인해 강화학습 에이전트의 일반화가 어려운 점을 해결하기 위해, 비전-언어 모델(VLM)의 이미지 이해 능력을 활용하여 강화학습에서 AI 피드백을 활용하는 방법을 연구합니다. 특히 오프라인 강화학습에 초점을 맞춰, 하위 경로 필터링 최적화(SFO)라는 새로운 방법론을 제시합니다. SFO는 전체 경로가 아닌 하위 경로를 사용하여 '조각 맞추기 문제'를 해결하고, VLM의 시각적 피드백을 활용하여 비마르코프 보상 신호를 생성하며, 복잡한 RLHF 기반 방법보다 단순하지만 효과적인 필터링 및 가중치 부여 행동 복제 방식을 사용합니다. 특히, 하위 경로 필터링 행동 복제(SFBC)는 실패 이전의 하위 경로를 제거하는 후향 필터링 메커니즘을 통합하여 강건성을 향상시킵니다.
