When Is Rank-1 Steering Cheap? Geometry, Granularity, and Budgeted Search

작성자

Haebom

카테고리

Empty

저자

John T. Robertson, Jianing Zhu, Haris Vikalo, Zhangyang Wang

💡 개요

본 논문은 LLM의 경량 제어 기법인 활성화 스티어링의 효과가 개념마다 다른 이유가 개념 포착 능력 부족이 아닌, 효과적인 스티어링 방향 탐색의 어려움에 있음을 주장합니다. 이를 위해 개입 레이어와 계수를 예산 제약 하에 최적화하는 rank-1 스티어링을 공식화하고, '프롬프트-경계 방향 정렬'이 효과적인 개입 위치를 예측하여 탐색 효율성을 높인다고 제시합니다. 또한, '개념 세분성'이라는 새로운 개념을 도입하여 개념별 방향 이질성을 측정하고, 스티어링 난이도 및 성능과의 연관성을 규명했습니다.

🔑 시사점 및 한계

•

활성화 스티어링의 효과는 개념 자체의 문제라기보다, 효과적인 rank-1 스티어링 방향을 찾는 탐색 과정의 효율성에 크게 좌우될 수 있습니다.

•

'프롬프트-경계 방향 정렬'을 활용한 기하학적 가이드 탐색은 스티어링 방향 탐색에 필요한 시도 횟수를 평균 39.8% 감소시켜 탐색 효율성을 크게 향상시킵니다.

•

'개념 세분성'은 스티어링 난이도를 예측하고 성능 저하를 설명하는 중요한 요소이며, 이를 활용한 GRACE 프레임워크는 스티어링 제어의 효율성을 극대화할 수 있습니다.

•

특정 개념의 경우, 세분성이 높아 방향이 불안정하여 높은 탐색 비용과 낮은 최고 성능을 보이는 한계가 있으며, 이는 향후 연구에서 해결해야 할 과제입니다.

PDF 보기

Made with Slashpage