본 논문은 Transformer 모델이 지배적인 현 NLP 분야에서, xLSTM과 Mamba와 같은 순환 메커니즘 기반의 새로운 아키텍처를 제시하는 연구들을 소개합니다. 이러한 순환 모델들은 어텐션 메커니즘과는 다른 방식으로 계산을 수행하지만, 좋은 결과를 보이며 때로는 최첨단 어텐션 기반 모델을 능가하기도 합니다. 본 연구에서는 거대 언어 모델(LLM)로부터 지식 증류를 통해 학습된 xLSTM 기반의 소형 언어 모델(SLM)인 Distil-xLSTM을 제안합니다. Distil-xLSTM은 순환 시퀀스 믹싱 구성 요소를 사용하여 Transformer 기반 모델의 어텐션 매개변수화를 근사하는 데 초점을 맞추며, 최소한의 학습으로 좋은 결과를 보입니다.
