본 논문은 세션 기반 추천(SBR)에서 데이터 부족 및 콜드 스타트 문제를 해결하기 위해 대규모 언어 모델(LLM)을 활용한 다모달 세션 기반 추천(MSBR) 프레임워크를 제안합니다. 기존의 MSBR 방법들이 단순한 사전 훈련된 모델을 사용하는 것과 달리, 본 논문에서는 LLM의 의미적 추론 능력을 활용하여 포괄적인 다모달 표현을 생성하고, 이를 통해 하위 MSBR을 향상시킵니다. 이를 위해, 전이 패턴과 고유한 다모달 지식 모두에 대한 LLM의 인지를 얻고, 두 가지 특징을 하나의 통합된 LLM로 정렬하는 두 가지 과제를 해결합니다. 이를 위해, 증류 패러다임을 확장하여 전이 패턴을 분리하고 정렬하는 다모달 LLM 향상 프레임워크인 TPAD를 제안합니다. TPAD는 아이템 지식을 반영하는 특징을 해석하는 Knowledge-MLLM과 세션 하에서 전이 인식 특징을 추출하는 Transfer-MLLM을 구축하고, 상호 정보 추정 이론을 활용하는 전이 패턴 정렬 모듈을 통해 두 MLLM을 통합하여 분포 불일치를 완화하고 전이 패턴을 모달 표현으로 증류합니다. 실제 데이터셋에 대한 광범위한 실험을 통해 프레임워크의 효과를 입증합니다.
