Belief Dynamics Reveal the Dual Nature of In-Context Learning and Activation Steering
Created by
- Haebom
Category
Empty
저자
Eric Bigelow, Daniel Wurgaft, YingQiao Wang, Noah Goodman, Tomer Ullman, Hidenori Tanaka, Ekdeep Singh Lubana
개요
대규모 언어 모델(LLM)은 프롬프트(맥락 내 학습) 및 내부 활성(활성화 조작)을 통해 추론 시점에 제어할 수 있습니다. 이러한 방법을 설명하기 위해 다양한 설명이 제안되었지만, 모델 동작을 제어한다는 공통 목표는 이러한 겉보기에 관련 없는 방법론을 더 광범위한 프레임워크의 특정 예시로 볼 수 있는지에 대한 의문을 제기합니다. 이러한 동기에서, 우리는 베이즈 관점에서 LLM 제어에 대한 통합적이고 예측적인 설명을 개발합니다. 구체적으로, 우리는 맥락 및 활성 기반 개입이 잠재 개념에 대한 모델의 믿음을 변경함으로써 모델 동작에 영향을 미친다고 가정합니다. 조작은 개념 사전 확률을 변경하여 작동하는 반면, 맥락 내 학습은 증거 축적으로 이어집니다. 이로 인해 다중 샷 맥락 내 학습에 대한 이전 연구에서 영감을 얻은 일련의 도메인에서 맥락 및 활성 기반 개입 전반에 걸쳐 LLM 동작을 매우 예측하는 폐쇄형 베이즈 모델이 생성됩니다. 이 모델은 시그모이드 학습 곡선과 같은 이전의 경험적 현상을 설명하는 데 도움이 되며, 맥락 내 증거가 축적되는 반면, 로그 신뢰 공간에서 두 개입의 가산성 (additivity), 즉 개입 제어를 약간 변경하여 갑작스럽고 극적인 행동 변화를 유도할 수 있는 별개의 단계를 예측하는 새로운 현상을 예측합니다. 종합하면, 이 연구는 프롬프트 기반 및 활성 기반 LLM 동작 제어에 대한 통일된 설명과 이러한 개입의 효과를 경험적으로 예측하기 위한 방법론을 제공합니다.
시사점, 한계점
•
LLM의 프롬프트 기반 및 활성화 기반 제어를 위한 통합적인 베이즈 관점의 모델 제시
•
맥락 내 학습과 활성화 조작이 잠재 개념에 대한 모델의 믿음을 변화시켜 작동한다는 설명
•
시그모이드 학습 곡선과 같은 이전 현상 설명 및 새로운 현상 예측
•
로그 신뢰 공간에서의 개입 가산성 예측
•
갑작스러운 행동 변화를 유도할 수 있는 개입 제어
•
논문의 구체적인 한계점은 명시되지 않음
