본 논문은 대규모 언어 모델(LLM)의 일반화 문제를 정보 병목(IB) 이론의 관점에서 접근한다. LLM이 훈련 데이터 분포를 넘어서는 일반화에 어려움을 겪고 추상적 추론(외삽)보다는 패턴 보간에 의존하는 현상을 정보 병목 이론을 통해 분석한다. 디코더 전용 트랜스포머가 작업에 최적인 시퀀스 표현을 형성하는 능력에 본질적인 제약이 있음을 IB 이론을 이용해 증명하고, 내부 시퀀스 수준 표현(KV 캐시)의 주기적인 전역 변환이 트랜스포머의 추론 작업에서 일반화를 향상시키는 데 필요한 계산 단계임을 보여준다. 이러한 이론적 통찰력을 바탕으로, 주기적으로 KV 캐시를 전역적으로 재작성하는 추가 모듈을 통해 트랜스포머 아키텍처를 수정하여 입력 접두사를 암기하는 대신 미래 토큰 예측에 가장 유용한 특징을 인코딩하도록 한다. 제안된 모델은 수학적 추론 벤치마크에서 기존 트랜스포머 및 휴리스틱 기반 캐시 압축 메커니즘보다 뛰어난 성능을 보이며, 최대 3.5배 많은 파라미터를 가진 모델을 능가한다. 기존 KV 캐시 압축 방법의 원칙적인 일반화로 볼 수 있으며, 단순히 입력 표현을 압축하는 대신 예측 정보를 유지하는 데 중점을 둠으로써 확장만으로는 극복할 수 없는 근본적인 추론 한계를 해결한다.
