Bidirectional Knowledge Distillation for Enhancing Sequential Recommendation with Large Language Models
Created by
Haebom
저자
Jiongran Wu, Jiahao Liu, Dongsheng Li, Guangping Zhang, Mingzhe Han, Hansu Gu, Peng Zhang, Li Shang, Tun Lu, Ning Gu
개요
본 논문은 대규모 언어 모델(LLM)과 기존 추천 모델(CRM)을 결합하여 순차적 추천 시스템의 성능을 향상시키는 새로운 상호 증류 프레임워크인 LLMD4Rec를 제안한다. LLMD4Rec은 기존의 단방향 증류 방식과 달리, LLM 중심 시스템과 CRM 기반 시스템 간의 동적인 양방향 지식 교환을 통해 각 모델을 반복적으로 개선한다. 샘플별 적응적 가중치 부여와 출력 분포 정렬을 통해 추가적인 매개변수 없이 효과적인 지식 전달을 실현하며, 실제 데이터셋을 이용한 실험 결과, 추론 비용 증가 없이 여러 벤치마크에서 추천 정확도를 크게 향상시킨다는 것을 보여준다.
시사점, 한계점
•
시사점:
◦
LLM과 CRM의 장점을 결합하여 순차적 추천 시스템의 성능을 효과적으로 향상시키는 새로운 방법 제시.
