Embedding-to-Prefix: Parameter-Efficient Personalization for Pre-Trained Large Language Models
Created by
Haebom
저자
Bernd Huber, Ghazal Fazelnia, Andreas Damianou, Sebastian Peleato, Max Lefarov, Praveen Ravichandran, Marco De Nadai, Mounia Lalmas-Roellke, Paul N. Bennett
개요
본 논문은 사전 계산된 사용자 임베딩을 활용하여 대규모 언어 모델(LLM)의 출력을 개인화하는 새로운 방법인 Embedding-to-Prefix (E2P)를 제안합니다. E2P는 기존의 파라미터 조정이나 토큰 기반 프롬프팅과 달리, 학습된 투영을 통해 임베딩을 LLM의 은닉 표현 공간에 단일 소프트 토큰 접두사로 주입하여 개인화를 수행합니다. 이를 통해 백본 모델을 고정 상태로 유지하면서 효율적인 개인화를 달성합니다. Persona-Chat(대화 개인화), PENS(맥락적 헤드라인 생성), 음악 및 팟캐스트 소비 등 다양한 데이터셋과 실제 환경에서 E2P의 성능을 평가하여 맥락적 신호를 유지하면서 최소한의 계산 오버헤드로 우수한 성능을 달성함을 보여줍니다.
시사점, 한계점
•
시사점:
◦
LLM의 개인화를 위한 효율적이고 확장 가능한 솔루션 제공.
◦
기존의 파라미터 조정이나 토큰 기반 프롬프팅 방식보다 계산 비용이 적게 듬.
◦
사전 계산된 사용자 임베딩을 효과적으로 활용하여 맥락적 신호를 유지.
◦
다양한 응용 분야(대화, 헤드라인 생성, 음악/팟캐스트 추천 등)에서 우수한 성능을 보임.
•
한계점:
◦
제시된 두 공개 데이터셋과 실제 환경 외 다른 데이터셋이나 응용 분야에서의 일반화 성능에 대한 추가 연구 필요.
