Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

JEPA4Rec: Learning Effective Language Representations for Sequential Recommendation via Joint Embedding Predictive Architecture

Created by
  • Haebom

저자

Minh-Anh Nguyen, Dung D. Le

개요

JEPA4Rec은 순차적 추천 시스템을 위한 새로운 프레임워크로, 기존 언어 표현 학습 방식의 데이터 부족 및 상식적 사용자 선호도 이해 부족 문제를 해결하기 위해 제안되었다. 아이템의 제목, 카테고리 등의 설명 정보를 문장으로 변환하여 양방향 Transformer 인코더를 이용, 의미 풍부하고 전이 가능한 아이템 표현을 학습한다. 마스킹 기법과 자기 지도 학습을 활용하여 일반화된 아이템 임베딩을 학습하고, 추천 성능을 향상시킨다. 실험 결과, 여러 실제 데이터셋에서 기존 최고 성능 모델들을 능가하는 성능을 보였으며, 특히 도메인 간, 플랫폼 간, 데이터 부족 환경에서 우수한 성능을 나타냈다.

시사점, 한계점

•
시사점:
◦
언어 모델링을 활용하여 추천 시스템의 데이터 부족 문제와 상식적 사용자 선호도 이해 부족 문제를 효과적으로 해결하였다.
◦
도메인 간, 플랫폼 간 전이 학습에 효과적이며, 저자원 환경에서도 우수한 성능을 보인다.
◦
자기 지도 학습을 통한 효율적인 사전 훈련 및 일반화된 아이템 임베딩 학습 가능성을 제시하였다.
◦
문장으로 표현된 아이템 정보를 활용하여 의미 풍부한 아이템 표현 학습이 가능함을 보여준다.
•
한계점:
◦
제안된 방법의 계산 비용 및 복잡도에 대한 자세한 분석이 부족하다.
◦
특정 유형의 데이터셋에 대한 성능 평가에 치중되어, 다양한 데이터셋에 대한 일반화 성능을 더 검증할 필요가 있다.
◦
Transformer 모델의 매개변수 크기 및 훈련 데이터 크기에 대한 민감도 분석이 필요하다.
◦
다양한 유형의 사용자 선호도를 얼마나 잘 반영하는지에 대한 추가적인 분석이 필요하다.
👍
Made with Slashpage