Steering Safely or Off a Cliff? Rethinking Specificity and Robustness in Inference-Time Interventions

Created by

Haebom

저자

Navita Goyal, Hal Daume III

💡 개요

본 연구는 추론 시점에 모델의 은닉 표현을 조작하는 '모델 스티어링' 기법이 대규모 언어 모델을 제어하는 데 효과적이지만, 의도하지 않은 부작용이 발생하는지를 평가합니다. 연구진은 일반성, 제어, 강건성의 세 가지 차원으로 '특이성'을 정의하고, 두 가지 안전 관련 사용 사례(과도한 거부 감소 및 환각성 발언 완화)에 대한 스티어링의 효과를 분석했습니다. 그 결과, 스티어링은 전반적인 성능과 관련 제어 속성은 유지하지만, 분포 변화에 대한 강건성 특이성은 일관되게 저해하는 것으로 나타났습니다.

🔑 시사점 및 한계

•

모델 스티어링은 특정 속성을 제어하는 데 효과적이며 일반적인 능력이나 관련 제어 속성을 크게 해치지 않습니다.

•

그러나 스티어링 기법은 배포 환경의 변화(분포 변화)에 따른 강건성 특이성을 심각하게 저해하여, 겉으로는 안정적으로 보여도 실제로는 모델의 안전성을 약화시킬 수 있습니다.

•

현재의 스티어링 평가 방식은 강건성 측면을 간과하고 있어, 모델 스티어링의 실제 신뢰성을 파악하기에는 불충분하며, 이에 대한 체계적인 평가와 강건성 보완 연구가 필요합니다.

PDF 보기

Made with Slashpage