본 논문은 대규모 언어 모델(LLM)의 일반화 문제를 정보 병목(IB) 이론의 관점에서 접근합니다. LLM이 훈련 데이터 분포를 벗어난 일반화에 어려움을 겪고 추상적 추론(외삽)보다는 패턴 보간에 치중하는 현상을 지적하며, 이를 해결하기 위해 디코더 전용 트랜스포머의 제한점을 IB 이론을 통해 증명합니다. 내부 시퀀스 표현(KV 캐시)의 주기적인 전역 변환이 트랜스포머의 일반화 능력 향상에 필요함을 보이고, 이를 바탕으로 KV 캐시를 주기적으로 재작성하는 모듈을 추가하여 트랜스포머 아키텍처를 수정하는 방법을 제안합니다. 제안된 모델은 수학적 추론 벤치마크에서 기존 트랜스포머 및 캐시 압축을 위한 휴리스틱 기반 가지치기 기법보다 우수한 성능을 보이며, 기존 KV 캐시 압축 방법의 원칙적인 일반화로 볼 수 있습니다. 결론적으로, 본 논문은 정보 이론을 이용하여 트랜스포머 메모리를 조작하는 원칙적인 프레임워크를 제시하며, 단순한 확장만으로는 극복할 수 없는 근본적인 추론 한계를 해결합니다.
