Higher-order Linear Attention

작성자

Haebom

카테고리

Empty

저자

Yifan Zhang, Zhen Qin, Quanquan Gu

💡 개요

본 논문은 기존 트랜스포머의 셀프 어텐션이 가지는 연산량 문제를 해결하기 위해, 고차항 선형 어텐션(Higher-order Linear Attention, HLA)을 제안합니다. HLA는 기존 선형 어텐션 및 상태 공간 모델(SSM)의 표현력 한계를 극복하며, 상수 크기의 상태와 선형 시간 복잡도로 고차항 상호작용을 효율적으로 포착합니다. 이를 통해 기존 순환 신경망의 효율성과 어텐션 메커니즘의 데이터 의존적 혼합 특성을 결합한 확장 가능한 빌딩 블록을 제시합니다.

🔑 시사점 및 한계

•

확장 가능한 언어 모델 구축을 위한 효율적인 고차항 상호작용 모델링 기법을 제공합니다.

•

상수 시간 및 공간 복잡도로 긴 맥락을 처리할 수 있어, 대규모 언어 모델의 훈련 및 추론 효율성을 크게 향상시킬 수 있습니다.

•

제안된 HLA는 엄격한 인과성, 스트리밍, 청크 병렬 훈련 등 다양한 적용 가능성을 보여주며, 향후 더 높은 차수의 일반화 가능성을 제시합니다.

•

본 연구는 2차 항에 초점을 맞추고 있으며, 3차 이상의 고차항에 대한 성능 및 확장성 검증은 추가적인 연구가 필요합니다.

PDF 보기

Made with Slashpage