본 논문은 대규모 언어 모델(LLM)을 활용한 개인화 추천 시스템의 성능 향상을 위해, 다중 모드 그래프 구조 상관관계를 효과적으로 활용하는 새로운 프레임워크인 HeLLM(Hypergraph Enhanced LLM Learning for multimodal Recommendation)을 제안합니다. HeLLM은 사용자 초그래프와 아이템 초그래프를 통해 사용자 간 공유 관심사 및 아이템 간 다중 모드 유사성을 포착하고, 초그래프 합성곱과 상승적 대조 학습을 통해 학습된 표현의 구분 성능을 향상시킵니다. 추천 사전 학습 단계에서 얻어진 그래프 구조 임베딩을 LLM 아키텍처에 직접 주입하고, 사용자의 시간적 행동 패턴을 포착하는 순차적 특징을 통합하여, LLM이 복잡한 관계 패턴을 인식하고 다중 모드 정보를 통합하며, 지역적 시간적 역동성을 모델링할 수 있도록 합니다. 실험 결과, HeLLM이 기존 최첨단 기법들을 능가하는 성능을 보임을 확인했습니다.
