Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

LLM-as-a-Judge: Toward World Models for Slate Recommendation Systems

Created by
  • Haebom

저자

Baptiste Bonin, Maxime Heuillet, Audrey Durand

개요

사용자 선호도를 여러 도메인에서 모델링하는 것은 슬레이트 추천(즉, 정렬된 항목 시퀀스를 추천) 연구의 주요 과제입니다. 우리는 대규모 언어 모델(LLM)이 슬레이트에 대한 쌍별 추론을 통해 사용자 선호도의 세계 모델로 효과적으로 작용할 수 있는 방법을 조사합니다. 우리는 여러 LLM을 사용하여 서로 다른 데이터 세트를 포괄하는 세 가지 작업에 대한 경험적 연구를 수행합니다. 우리의 결과는 작업 성능과 LLM이 포착한 선호도 함수의 속성 간의 관계를 보여주며, 개선 영역을 시사하고 추천 시스템에서 LLM을 세계 모델로 사용할 수 있는 가능성을 강조합니다.

시사점, 한계점

LLM을 사용하여 슬레이트 추천에서 사용자 선호도를 모델링하는 새로운 접근 방식 제시
다양한 데이터 세트에 걸쳐 LLM의 성능을 평가하는 경험적 연구 수행
LLM이 사용자 선호도를 이해하는 방식과 성능 간의 관계를 밝힘
추천 시스템에서 LLM의 잠재력을 강조
개선 및 추가 연구를 위한 방향 제시
연구는 특정 LLM 및 데이터 세트로 제한됨
LLM의 성능은 모델의 크기 및 훈련 데이터에 따라 달라질 수 있음
슬레이트 추천 작업의 복잡성으로 인해 모델 해석이 어려울 수 있음
👍