본 논문은 Transformer 기반 대규모 언어 모델(LLM)의 추론 속도를 높이기 위한 새로운 프레임워크인 Neural Block Linearization (NBL)을 제시합니다. NBL은 자기 주의 계층을 선형 최소 평균 제곱 오차 추정기에서 유도된 선형 근사로 대체하여 작동합니다. Canonical Correlation Analysis를 활용하여 근사 오차의 이론적 상한선을 계산하고, 이를 기준으로 선형화 오차가 가장 낮은 LLM 계층을 선택하여 대체합니다. 미세 조정 없이 사전 훈련된 LLM에 효율적으로 적용 가능하며, 여러 추론 벤치마크에서 상당한 속도 향상과 경쟁력 있는 정확도를 유지함을 실험적으로 보여줍니다. 예를 들어, DeepSeek-R1-Distill-Llama-8B의 12개 자기 주의 계층에 NBL을 적용하면 추론 속도가 32% 증가하고 정확도 저하는 1% 미만입니다.
