CoSteer: Decoding-Time Personalization through Localized Delta Steering
개요
본 논문은 개인화된 텍스트 생성을 위한 새로운 프레임워크 CoSteer를 제안합니다. CoSteer는 개인 장치에서 리소스 제약 조건 하에서 실시간 적응을 가능하게 하기 위해, 로컬 소형 모델에서 생성된 개인화된 텍스트와 개인화되지 않은 텍스트의 logits 차이를 활용하여 클라우드 기반 LLM의 출력을 조정합니다. 이 방법은 로컬에서 델타 벡터를 동적으로 조정하여 개인 정보 보호를 유지하면서 클라우드 LLM의 일반적인 능력을 유지합니다.
시사점, 한계점
•
시사점:
◦
개인 장치에서 사용자 프로필 및 기록을 활용하여 LLM이 개인화된 콘텐츠를 생성하도록 효과적으로 지원합니다.
◦
온디바이스 데이터 처리를 통해 개인 정보 보호를 보장합니다.
◦
클라우드 기반 LLM의 일반적인 능력을 유지하면서 계산 오버헤드를 허용 가능한 수준으로 유지합니다.
