Retrospective Sparse Attention for Efficient Long-Context Generation

작성자

Haebom

카테고리

Empty

저자

Seonghwan Choi, Beomseok Kang, Dongwon Jo, Jae-Joon Kim

💡 개요

본 논문은 긴 문맥 생성을 위한 LLM의 성능 병목 현상인 KV 캐시 메모리 문제를 해결하기 위해 RetroAttention이라는 새로운 KV 캐시 업데이트 기법을 제안합니다. RetroAttention은 이전의 주의(attention) 계산 결과를 후속 토큰의 KV 정보를 활용하여 회고적으로 수정함으로써, 마치 더 긴 문맥을 본 것처럼 작동하게 합니다. 이를 통해 KV 캐시 압축 방법들이 입력 문맥에만 집중하는 한계를 극복하고, 긴 생성 과정에서 누적되는 주의 오류를 지속적으로 보정합니다.

🔑 시사점 및 한계

•

기존 KV 캐시 압축 방식이 입력 문맥에만 초점을 맞춰 긴 생성 과정에서 발생하는 누적 오류를 해결하지 못하는 한계를 극복합니다.

•

RetroAttention은 경량화된 출력 캐시를 유지하며 후속 KV 정보를 활용하여 과거 쿼리에 대한 컨텍스트를 효율적으로 보강함으로써, 유효 KV 노출을 최대 1.6배, 정확도를 최대 21.9% 향상시킵니다.

•

제안된 방법론의 근본적인 한계점은 여전히 일정 수준의 컴퓨팅 오버헤드를 유발하며, 이를 통해 얼마나 더 긴 문맥까지 효과적으로 확장될 수 있는지에 대한 추가적인 연구가 필요합니다.

PDF 보기

Made with Slashpage