Steer2Adapt: Dynamically Composing Steering Vectors Elicits Efficient Adaptation of LLMs

Created by

Haebom

저자

Pengrui Han, Xueqiang Xu, Keyang Xuan, Peiyang Song, Siru Ouyang, Runchu Tian, Yuqing Jiang, Cheng Qian, Pengcheng Jiang, Jiashuo Sun, Junxia Cui, Ming Zhong, Ge Liu, Jiawei Han, Jiaxuan You

💡 개요

기존 LLM 적응 방법은 단일 고정 방향에 의존하여 유연성이 부족했습니다. 본 논문은 STEER2ADAPT라는 경량 프레임워크를 제안하며, 이는 새로운 가중치를 학습하는 대신 미리 학습된 개념 방향 벡터들의 선형 조합을 동적으로 구성하여 LLM을 적응시킵니다. 이 방법은 소수의 예시만으로도 효율적으로 새로운 태스크에 적응하며, 추론 시 데이터 효율적이고 안정적이며 투명한 적응을 가능하게 합니다.

🔑 시사점 및 한계

•

LLM 적응에 있어 고정된 단일 방향 대신, 여러 개념 방향 벡터를 조합하는 동적 접근 방식의 효과성을 입증했습니다.

•

데이터 효율적이고 투명한 추론 시점 적응 방법론을 제시하여, LLM의 유연성과 실용성을 크게 향상시킬 수 있습니다.

•

본 연구는 특정 도메인(추론, 안전)에 국한된 실험 결과를 제시했으며, 더 넓은 범위의 태스크와 모델에 대한 일반화 가능성은 추가적인 연구가 필요합니다.

PDF 보기

Made with Slashpage