본 논문은 선형 RNN(Recurrent Neural Network)의 효율적인 연산을 위한 새로운 커널 알고리즘인 Tiled Flash Linear Attention (TFLA)을 제안합니다. 기존의 Flash Linear Attention (FLA)는 입력 시퀀스를 청크(chunk) 단위로 병렬 처리하여 선형 RNN의 계산 속도를 높였지만, 청크 크기의 제한으로 인해 메모리 소모가 많았습니다. TFLA는 각 청크 내에서 추가적인 시퀀스 병렬화를 도입하여 임의의 크기의 청크를 사용할 수 있도록 함으로써 이 문제를 해결합니다. 본 논문에서는 TFLA를 행렬 메모리를 사용하는 xLSTM인 mLSTM에 적용하고, 입력 게이트를 시그모이드 함수로 변경하여 계산량을 줄인 mLSTM 변형 모델도 제시합니다. 실험 결과, TFLA 기반의 새로운 mLSTM 커널은 Flash Attention, Linear Attention, Mamba 커널보다 우수한 성능을 보이며, 장문맥스트 모델링에서 새로운 state-of-the-art를 달성했습니다.
