본 논문은 In-context Learning (ICL)의 내부 메커니즘을 정보 제거의 관점에서 새롭게 분석한다. Zero-shot 환경에서 언어 모델(LM)은 의도하는 작업에 초점을 맞추지 못하고 모든 가능한 작업에 대한 정보를 담은 비선택적 표현으로 쿼리를 인코딩하여 임의의 결과를 생성한다. 반면, 저랭크 필터를 통해 은닉 상태에서 특정 정보를 선택적으로 제거하면 LM을 의도하는 작업으로 효과적으로 유도할 수 있음을 발견했다. Few-shot ICL은 이러한 작업 지향적인 정보 제거 과정을 효과적으로 시뮬레이션하여, 데모를 기반으로 불필요한 정보를 제거하고 출력을 개선하며, 이는 ICL의 핵심 메커니즘을 구성한다. 또한, 정보 제거 연산을 유도하는 필수 어텐션 헤드인 Denoising Heads를 확인하고, 이를 제거하는 실험을 통해 정보 제거 메커니즘과 Denoising Heads의 중요한 역할을 입증했다.
