본 논문은 대규모 언어 모델(LLM)의 추론과 기억 메커니즘에 대한 기계적인 이해를 제공합니다. 연구진은 모델의 잔차 스트림(residual stream)에서 추론과 기억 회상 간의 균형을 조절하는 일련의 선형 특징들을 식별했습니다. 이러한 특징들은 추론 과제와 기억 집약적 과제를 구별할 뿐만 아니라, 추론 과제에서 모델 성능에 인과적으로 영향을 미치도록 조작될 수도 있습니다. 연구 결과는 LLM에서 추론과 기억의 기본 메커니즘에 대한 새로운 통찰력을 제공하며, 더욱 강력하고 해석 가능한 생성형 AI 시스템 개발의 길을 열어줍니다. 기존 연구에서 LLM이 미지의 질문에 일반화하는 데 어려움을 겪는다는 점을 지적했는데, 이는 훈련 예시를 과도하게 기억하는 데 기인할 수 있다는 것입니다. 본 논문은 이러한 추론과 기억 간의 전환 조건을 명확히 밝히고자 합니다.
