본 논문은 언어 모델이 문맥과 사전 지식 중 어느 쪽에 더 의존할지 결정하는 메커니즘을 탐구합니다. 특히, 문맥 민감도를 제어하는 "조절 장치(knob)"를 찾고자, 문맥과 사전 지식을 모두 활용해야 하는 과제를 설계했습니다. Llama-3.1, Mistral-v0.3, Gemma-2 모델을 해당 과제로 미세 조정한 결과, 높은 정확도(85-95%)로 문맥 또는 사전 지식을 선택적으로 사용하는 것을 확인했습니다. 선형 시간 알고리즘을 사용하여 문맥 민감도에 중요한 계층을 분석하고, 각 모델에서 문맥 또는 사전 지식을 따르는지 여부를 인코딩하는 1차원 부분 공간을 식별했습니다. 흥미롭게도, 이 부분 공간은 미세 조정된 모델뿐만 아니라 미세 조정되지 않은 지시 및 기본 모델에서도 효과적인 조절 장치로 작용하는 것을 발견했습니다. 마지막으로, 모델의 성능과 이 부분 공간에서 문맥에 일치하는 답변과 문맥을 무시하는 답변의 분리 정도 사이에 강한 상관관계가 있음을 보였습니다. 이는 단일 부분 공간이 모델이 문맥과 사전 지식 중 어느 것을 선택할지 결정하는 메커니즘을 촉진한다는 것을 시사합니다.
