Why Attend to Everything? Focus is the Key

Thu, 30 Apr 2026 07:57:02 GMT

### 저자

Hengshuai Yao, Xing Chen, Ahmed Murtadha, Jin Li, Yasin Abbasi Yadkori, Shuai Shao, Changling Liu, Guan Wang, Mingli Yuan, William Chen, Sen Song

### 💡 개요

본 논문은 기존 어텐션 메커니즘의 시퀀스 길이 대비 이차적인 계산 비용 문제를 해결하기 위해 "Focus"라는 새로운 방법을 제안합니다. Focus는 학습 가능한 소수의 중심점(centroid)을 사용하여 토큰 쌍 간의 장거리 상호작용을 제한함으로써 효율성을 높이며, 기존 사전 학습 모델의 성능 저하 없이 적용 가능하다는 장점을 가집니다. 실험 결과, Focus는 다양한 모델 크기와 어텐션 구조에서 성능 저하 없이 효율성을 증대시키고, 심지어 특정 경우에서는 전체 어텐션보다 우수한 성능을 보이기도 합니다.

### 🔑 시사점 및 한계

- **효율적인 장거리 어텐션:** Focus는 계산 복잡성을 획기적으로 줄이면서도 성능 저하를 최소화하여 긴 시퀀스 처리에 대한 효과적인 대안을 제시합니다.

- **모델 재학습 불필요:** 기존 사전 학습 모델의 가중치를 동결한 채 소수의 중심점만 학습시키면 되므로, 모델 전체를 재학습해야 하는 부담이 없습니다.

- **속도 향상 및 성능 유지:** Top-k 그룹 멤버십을 활용한 Focus는 기존 모델 대비 2배의 속도 향상을 달성하면서도 품질을 유지하며, FlashAttention과의 결합 시 대규모 시퀀스에서도 높은 효율성을 보여줍니다.

- **중심점 수 최적화:** Focus의 성능은 학습되는 중심점의 수에 영향을 받을 수 있으므로, 특정 태스크 및 모델 아키텍처에 최적화된 중심점 수를 찾는 연구가 필요합니다.

- **새로운 아키텍처 설계의 가능성:** Focus의 개념을 바탕으로 하여 처음부터 효율성을 극대화하는 새로운 어텐션 기반 모델 아키텍처를 설계하는 연구가 후속 과제가 될 수 있습니다.

---

[PDF 보기](https://arxiv.org/pdf/2604.03260)