Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Meta-Learning for Cold-Start Personalization in Prompt-Tuned LLMs

Created by
  • Haebom

저자

Yushang Zhao, Huijie Shen, Dannier Li, Lu Chang, Chengrui Zhou, Yinuo Yang

개요

본 논문은 대규모 언어 모델(LLM) 기반의 생성적이고 설명 가능하며 유연한 추천 시스템이 콜드 스타트 사용자 상황(상호 작용 이력이 거의 없거나 없는 경우)에 적합하지 않다는 문제를 해결하고자 메타러닝 프레임워크를 제시합니다. 기존의 지도 학습 미세 조정 및 협업 필터링 방식은 사용자-아이템 데이터가 많은 경우에 효과적이지만, 유지 및 업데이트 비용이 많이 든다는 단점이 있습니다. 본 논문에서는 각 사용자를 태스크로 취급하여 Reptile과 MAML 최적화를 통해 소프트 프롬프트 임베딩을 학습하는 메타러닝 프레임워크를 제안합니다. 학습된 벡터는 사용자 행동 사전 정보를 나타내는 미분 가능한 제어 변수로 입력 토큰에 추가됩니다. 에피소드 샘플링, 내부 루프 적응, 외부 루프 일반화를 통해 프롬프트를 메타 최적화합니다. MovieLens-1M, Amazon Reviews, Recbole 데이터셋에서 제안된 모델이 기존 방식보다 NDCG@10, HR@10, MRR 지표에서 우수한 성능을 보이며, 소비자용 GPU에서 300ms 이내의 실시간 처리 속도를 달성함을 보여줍니다. 또한, 이 방법은 이력이 없는 사용자에 대한 개인화도 지원하며, 275ms의 적응 속도를 통해 금융 시스템의 실시간 위험 프로파일링에 적용되어 지불 네트워크 안정성 향상에 기여할 수 있음을 시사합니다.

시사점, 한계점

시사점:
LLM 기반 추천 시스템의 콜드 스타트 문제를 효과적으로 해결하는 메타러닝 프레임워크 제시
매개변수 효율적인 프롬프트 튜닝을 통해 빠르고 효율적인 개인화 가능
실시간(300ms 이하) 처리 속도 달성
이력이 없는 사용자에 대한 개인화 지원
금융 시스템의 실시간 위험 프로파일링 및 지불 네트워크 안정성 향상에 적용 가능
한계점:
제안된 메타러닝 프레임워크의 일반화 성능에 대한 추가적인 연구 필요
다양한 데이터셋 및 추천 시스템에 대한 적용성 검증 필요
메타러닝 과정의 복잡성 및 계산 비용에 대한 고려 필요
👍