Sign In

Fints: Efficient Inference-Time Personalization for LLMs with Fine-Grained Instance-Tailored Steering

Created by
  • Haebom
Category
Empty

저자

Kounianhua Du, Jianxing Liu, Kangning Zhang, Wenxiang Jiao, Yuan Lu, Jiarui Jin, Weiwen Liu, Yong Yu, Weinan Zhang

개요

대규모 언어 모델(LLM)의 급속한 발전에 따라 개별 사용자 선호도에 모델 동작을 적응시키는 효과적인 개인화 기술에 대한 요구가 증가하고 있습니다. 본 논문에서는 동적 사용자 패턴과 높은 데이터 희소성 시나리오를 처리하는 데 한계가 있는 기존 개인화 기법의 문제를 해결하기 위해, 사용자 데이터로부터 샘플 수준의 간섭 벡터를 동적으로 생성하여 모델의 순방향 패스에 주입하는 미세 조정 및 인스턴스 맞춤형 조향 프레임워크를 제안합니다. 이 프레임워크는 어텐션 및 MLP 레이어의 활성화를 후킹하여 미묘한 신호를 캡처하는 미세 조정 구성 요소와 이러한 신호를 상황에 맞는 향상으로 합성하는 입력 인식 집계 모듈을 포함합니다. 제안된 방법은 빠른 변화 환경과 높은 데이터 희소성 시나리오에서 높은 유연성과 데이터 효율성을 입증하며, 기존 방법과 호환되는 플러그인 구성 요소로 작동합니다. 다양한 시나리오(단문-장문 텍스트 생성, 웹 기능 호출 등)에 대한 광범위한 실험을 통해 제안된 방법의 효과와 호환성을 검증했습니다.

시사점, 한계점

시사점:
빠르게 변화하는 환경에서 개인화 성능을 크게 향상시킵니다.
다양한 상호 작용 모드 및 컨텍스트 길이에서 견고성을 유지합니다.
기존 개인화 기법과 호환되는 플러그인 방식으로 작동합니다.
높은 유연성과 데이터 효율성을 제공합니다.
한계점:
논문에 구체적인 한계점이 명시적으로 언급되지 않았습니다.
구현 세부 사항 및 특정 성능 지표에 대한 추가 정보가 필요할 수 있습니다.
👍