Key-Value Means: Transformers with Expandable Block-Recurrent Compressed Memory

작성자

Haebom

카테고리

Empty

저자

Daniel Goldstein, Eugene Cheah

💡 개요

본 논문은 고정 크기 또는 가변 크기의 상태를 수용할 수 있는 새로운 블록 순환 주의 메커니즘인 Key-Value Means(KVM)를 제안합니다. KVM을 강력한 트랜스포머 기반 모델에 적용하면 적은 파라미터 증가로 $O(N)$ 복잡도를 갖는 RNN과 유사한 성능을 얻을 수 있습니다. 특히, 성장 가능한 KVM 캐시를 사용한 트랜스포머는 긴 문맥 처리 시 준수한 성능을 보이며, 서브 2차 사전 충전 시간과 서브 선형 상태 성장을 달성합니다.

🔑 시사점 및 한계

•

KVM은 기존 트랜스포머와 선형 RNN의 장점을 결합하여 메모리 효율성을 높이고 확장 가능한 문맥 처리 능력을 제공합니다.

•

KVM은 모든 레이어에 적용 가능하며, 사전 충전 시간 복잡도를 $O(N)$부터 $O(N^2)$까지 연속적으로 선택할 수 있는 유연성을 제공합니다.

•

KVM은 표준 연산으로 구현 가능하며 커스텀 커널 없이도 작동하고, 청크 단위 병렬 학습 및 사전 충전을 지원합니다.

•

본 연구에서는 KVM의 성능을 더욱 개선하고 다양한 실제 응용 분야에 적용하기 위한 추가 연구가 필요합니다.

PDF 보기

Made with Slashpage