Luoyang Sun, Cheng Deng, Jiwen Jiang, Xinjian Wu, Haifeng Zhang, Lei Chen, Lionel Ni, Jun Wang
개요
본 논문은 대규모 언어 모델(LLM)의 성능 향상에 중요한 역할을 하는 어텐션 메커니즘의 계산 및 메모리 오버헤드 문제를 해결하기 위해, Grouped-Head LatenTAttention (GTA)를 제안합니다. GTA는 어텐션 맵을 여러 헤드에서 공유하고, 값 캐시를 잠재 공간으로 압축하는 두 가지 구성 요소로 이루어져 있습니다. 이는 어텐션 계산의 FLOPs를 최대 62.5%까지, KV 캐시를 최대 70%까지 줄여 메모리 사용량과 계산 복잡도를 감소시키면서 성능을 유지하는 것을 목표로 합니다. 결과적으로, GTA 모델은 종단 간 추론 속도를 2배 향상시키는 효과를 보입니다.
시사점, 한계점
•
시사점:
◦
LLM의 어텐션 메커니즘의 계산 및 메모리 효율을 크게 향상시킬 수 있는 새로운 방법 제시.
◦
종단 간 추론 속도를 2배까지 향상시켜 LLM 배포 효율성 증대.
◦
메모리 사용량 감소를 통해 제한된 자원 환경에서의 LLM 배포 가능성 확대.
◦
Pre-fill 및 decoding 단계 모두에서 성능 향상.
•
한계점:
◦
GTA의 성능 향상이 모든 유형의 LLM과 데이터셋에 대해 동일하게 적용될지는 추가적인 연구가 필요.
