본 논문은 추론 속도와 효율성을 중시하여 설계된 70억 파라미터 규모의 xLSTM 기반 대규모 언어 모델(LLM), xLSTM 7B를 소개합니다. 기존 Transformer 기반 LLM과 달리 xLSTM 아키텍처는 시퀀스 길이에 선형적으로 증가하는 계산량과 일정한 메모리 사용량을 특징으로 하여 효율적인 추론에 유리합니다. 본 논문에서는 xLSTM 7B의 아키텍처 및 최적화 전략을 제시하고, 다양한 하위 작업에서 기존 Llama 및 Mamba 기반 LLM과 비교하여 성능, 추론 속도, 효율성을 평가합니다. 실험 결과, xLSTM 7B는 유사한 크기의 다른 LLM과 비교하여 비슷한 성능을 유지하면서, 훨씬 빠른 추론 속도와 향상된 효율성을 보여줍니다. 모델 가중치, 모델 코드, 그리고 학습 코드는 모두 공개되어 있습니다.
