본 논문은 장문맥락 처리 효율을 향상시키는 순환 하위 이차 모델의 최근 동향을 연구합니다. 고정 크기 순환 메모리가 성능에 미치는 영향에 초점을 맞춰 주요 장문맥락 모델들을 조사합니다. 실험 결과, 이러한 모델들이 긴 맥락으로 학습되더라도 장문맥락 활용이 저조함을 보였습니다. 본 논문은 입력 중 가장 관련성 높은 부분만 식별 및 처리하는 청크 기반 추론 절차가 순환 메모리 실패를 완화하고 많은 장문맥락 작업에 효과적임을 보여줍니다. LongBench에서 제안된 방법은 Falcon3-Mamba-Inst-7B의 성능을 14%, Falcon-Mamba-Inst-7B는 28%, RecurrentGemma-IT-9B는 50%, RWKV6-Finch-7B는 51% 향상시켰습니다. 놀랍게도 이 간단한 접근 방식은 어려운 LongBench v2 벤치마크에서 최첨단 결과를 달성하여 동일한 크기의 Transformer와 경쟁력 있는 성능을 보였습니다. 또한, 단일 청크 전략이 더 강력한 성능을 제공한다는 사실은 순환 모델이 장거리 의존성을 실제로 활용하는지에 대한 의문을 제기합니다.
