REGEN이라는 새로운 데이터셋을 소개합니다. 기존의 순차적 아이템 예측에 집중하는 데이터셋의 한계를 해결하기 위해, 대화형 추천 대규모 언어 모델(LLM)의 능력을 평가하기 위한 데이터셋입니다. 아마존 상품 리뷰 데이터셋을 확장하여 두 가지 주요 자연어 기능을 추가했습니다. 첫째, 사용자의 "조향" 질문을 나타내는 사용자 비판(critiques)이고, 둘째, 이전 문맥을 고려하여 각 추천 아이템과 관련된 풍부한 텍스트 출력인 서술(narratives)입니다. 서술에는 제품 홍보, 구매 설명, 사용자 선호도 요약 등이 포함됩니다. 또한, 사용자 이력(아이템 및 비판)을 조건으로 추천과 해당 서술을 모두 생성하도록 모델을 훈련시키는 대화형 추천 작업을 위한 종단 간 모델링 벤치마크를 설정했습니다. 이를 위해 LUMEN이라는 모델링 프레임워크를 도입하여 비판, 검색 및 생성에 LLM을 백본으로 사용합니다. 표준 자동 평점 기술을 사용하여 데이터셋의 품질을 평가하고, 전통적인 추천 모델과 LLM 기반 추천 모델을 모두 훈련하여 벤치마킹했습니다. 결과는 비판을 통합하면 추천 품질이 향상되어 추천 신호와 언어 이해를 통합할 수 있음을 보여줍니다. 또한, 이 데이터셋으로 훈련된 LLM은 최첨단 추천 시스템 및 언어 모델과 비교할 만한 성능으로 추천과 문맥 서술을 효과적으로 생성합니다.
