본 논문은 언어 모델(LM)의 활성화 공간에서 표적화된 섭동이 복잡한 추론 패턴을 어떻게 인코딩하는지 조사합니다. LM 활성화에서 파생된 조향 벡터를 추론 시 LM에 주입하고, 이 벡터들이 자연어 프롬프트 없이도 LM에서 사고연쇄(CoT) 추론을 유도할 수 있는지 연구합니다. Llama3 8B Instruct와 Mistral 7B v0.2 Instruct를 대상으로 GSM8k, MMLU, AGI Eval, ARC AI2 등 여러 추론 벤치마크에서 활성화 공간 개입이 기존 CoT 프롬프팅과 비교하여 경쟁력 있거나, 심지어 더 우수한 성능을 달성함을 보여줍니다. 이러한 결과는 신경망 활성화가 추론 패턴을 인코딩할 수 있으며, 모델 동작 조정을 위한 도구로서 활성화 공간 조작의 새로운 응용 분야를 제공함을 시사합니다.
