MiniOneRec: An Open-Source Framework for Scaling Generative Recommendation
Created by
- Haebom
Category
Empty
저자
Xiaoyu Kong, Leheng Sheng, Junfei Tan, Yuxin Chen, Jiancan Wu, An Zhang, Xiang Wang, Xiangnan He
개요
대규모 언어 모델(LLM)의 성공으로 추천 시스템의 스케일링 효과에 대한 관심이 높아지고 있습니다. 기존 임베딩 기반 추천 시스템의 한계를 극복하기 위해, 본 논문은 오토회귀 변환기(autoregressive Transformers)를 사용하여 컴팩트한 Semantic ID (SID) 시퀀스를 생성하는 생성적 추천 시스템을 제안합니다. MiniOneRec이라는 완전히 오픈 소스 생성 추천 프레임워크를 개발하여, SID 구성, 지도 학습 미세 조정, 추천 지향 강화 학습을 포함하는 엔드 투 엔드 워크플로우를 제공합니다. Amazon Review 데이터 세트에서 0.5B에서 7B 매개변수 범위의 Qwen 백본을 사용하여 실험을 수행했으며, 모델 크기가 증가함에 따라 훈련 및 평가 손실이 감소하는 경향을 보이며 생성적 접근 방식의 매개변수 효율성을 입증했습니다. 또한, 전체 프로세스 SID 정렬을 적용하고 제한된 디코딩 및 하이브리드 보상으로 강화 학습을 수행하는 가볍지만 효과적인 사후 훈련 파이프라인을 제안하여 랭킹 정확도와 후보 다양성을 향상시켰습니다.
시사점, 한계점
•
시사점:
◦
MiniOneRec은 오픈 소스 생성 추천 프레임워크를 제공하여 연구 접근성을 높였습니다.
◦
생성적 추천 시스템의 스케일링 효과를 검증했습니다.
◦
경량 사후 훈련 파이프라인을 통해 성능 향상을 달성했습니다.
◦
랭킹 정확도 및 후보 다양성 향상을 보였습니다.
•
한계점:
◦
논문에 제시된 한계점은 명시되지 않았습니다.
