Key-Value Means: Transformers with Expandable Block-Recurrent Compressed Memory

작성자

Haebom

카테고리

Empty

저자

Daniel Goldstein, Eugene Cheah

💡 개요

본 논문은 트랜스포머의 어텐션 메커니즘에 'Key-Value Means(KVM)'라는 새로운 블록 순환 방식을 제안한다. KVM은 고정 크기 또는 성장 가능한 상태를 수용할 수 있어, 고정 크기 KVM은 $O(N)$ 복잡도의 청크 RNN과 유사한 성능을 보이며 파라미터 증가가 미미하다. 성장 가능한 KVM 캐시를 사용한 트랜스포머는 긴 문맥 처리에서 경쟁력 있는 성능을 보이며, 프리필 시간 복잡도는 $O(N^2)$보다 낮고 상태 증가도 선형적이다.

🔑 시사점 및 한계

•

KVM은 기존 트랜스포머의 확장 가능한 문맥 메모리 및 병렬 처리 능력과 선형 RNN의 효율성을 통합하여, 프리필 시간 복잡도를 $O(N)$부터 $O(N^2)$까지 연속적으로 조절할 수 있다.

•

KVM은 표준 연산으로 구현 가능하며 커스텀 커널 없이도 사용 가능하여, KV 캐시 메모리를 절약하고 학습 및 프리필 시 청크 단위 병렬 처리를 지원한다.

•

KVM은 LRNN 레이어와 함께 하이브리드 방식으로 사용하여 LRNN의 메모리 성장 및 긴 문맥 디코딩 문제를 개선하는 데 활용될 수 있다.

•

KVM의 잠재적 한계점이나 향후 연구 과제로는, 다양한 길이의 문맥에서 KVM의 성능 최적화, 특정 응용 분야에서의 효용성 검증, 그리고 KVM 자체의 이론적 성능 보장 및 분석 등이 있을 수 있다.

PDF 보기

Made with Slashpage