Memory-Efficient Looped Transformer: Decoupling Compute from Memory in Looped Language Models

작성자

Haebom

카테고리

Empty

저자

Victor Conchello Vendrell, Arnau Padres Masdemont, Niccolo Grillo, Jordi Ros-Giralt, Arash Behboodi, Fabio Valerio Massoli

💡 개요

본 논문은 순환 언어 모델(LoopLM)의 추론 깊이가 메모리 사용량을 선형적으로 증가시켜 확장성에 제약을 준다는 문제를 해결하고자 합니다. 이를 위해 제안된 Memory-Efficient Looped Transformer (MELT)는 레이어별로 단일 KV 캐시를 공유하고 학습 가능한 게이팅 메커니즘으로 업데이트하여 추론 깊이와 메모리 사용량을 분리합니다. MELT는 두 단계의 청크 단위 훈련 절차를 통해 안정적으로 훈련되며, 실험 결과 Ouro와 같은 기존 모델보다 비슷한 크기의 LLM과 유사한 메모리 사용량을 유지하면서도 우수한 성능을 보여줍니다.

🔑 시사점 및 한계

•

추론 깊이와 메모리 소비를 분리하여 순환 언어 모델의 확장성 문제를 효과적으로 해결합니다.

•

경량의 후처리 훈련 절차만으로도 기존 모델 대비 경쟁력 있는 성능을 달성합니다.

•

학습 가능한 게이팅 메커니즘이 KV 캐시 업데이트를 제어하는 방식의 복잡성과 학습 안정성에 대한 추가적인 연구가 필요합니다.

PDF 보기

Made with Slashpage