본 논문은 최근 주목받고 있는 언어 모델(LM)이 단순한 의미론 이상의 풍부한 세계 지식을 암묵적으로 포함하고 있다는 사실에 착안하여, 추천 시스템 분야에서 LM이 사용자 선호도 정보를 암묵적으로 인코딩하는지 여부를 조사합니다. 기존의 이해와 달리, LM과 전통적인 추천 시스템은 서로 다른 표현 공간을 학습한다는 가정에 반해, 본 연구는 고급 LM 표현 공간에서 추천 공간을 직접 추출하는 가능성을 탐구합니다. 실험 결과, 고급 LM 표현에서 선형 매핑된 아이템 표현이 기존 추천 성능을 능가함을 보여줍니다. 이는 고급 언어 표현 공간과 효과적인 아이템 표현 공간 사이의 준동형 사상(homomorphism) 가능성을 시사하며, LM 내에 협업 신호가 암묵적으로 인코딩되어 있음을 의미합니다. 이러한 결과를 바탕으로, 아이템 ID 기반 임베딩 없이 언어 표현만으로 고급 협업 필터링(CF) 모델을 설계할 수 있는 가능성을 탐구합니다. 아이템 제목을 입력으로 사용하는 간단하면서도 효과적인 모델을 제시하며, 이 모델이 기존의 ID 기반 CF 모델보다 성능이 우수함을 실험적으로 보여줍니다. 또한, 고급 언어 표현을 사용하기 위한 몇 가지 중요한 특징(아이템 표현에 대한 좋은 초기화, 제로샷 추천 기능, 사용자 의도 인식)을 분석합니다. 결론적으로, 본 연구는 언어 모델링과 행동 모델링 간의 연관성을 강조하며, 자연어 처리 및 추천 시스템 분야 모두에 시사점을 제공합니다.
