Offline 강화 학습은 추가적인 환경 상호작용 없이 고정된 데이터 세트로부터 정책을 학습하는 과정을 의미한다. 이 논문은 잘 정의된 보상 함수에 의존하는 오프라인 강화 학습의 어려움을 해결하기 위해, 전문가 시연과 선호도라는 두 가지 형태의 인간 피드백을 통합하는 Search-Based Preference Weighting (SPW) 방식을 소개한다. SPW는 선호도 레이블이 지정된 궤적에서 각 전환에 대해 전문가 시연에서 가장 유사한 상태-행동 쌍을 검색하고, 유사성 점수를 기반으로 단계별 중요도 가중치를 직접 도출한다. 이러한 가중치는 표준 선호도 학습을 안내하여 전통적인 접근 방식이 어려움을 겪는 정확한 신용 할당을 가능하게 한다. SPW는 어려운 로봇 조작 작업에서 두 가지 피드백 유형을 모두 활용하는 기존 방법보다 우수한 성능을 보였다.
