본 논문은 장문맥락 처리 효율을 향상시키는 재귀적 준2차 모델의 최근 동향을 조사합니다. 특히, 고정 크기의 재귀적 메모리가 성능에 미치는 영향에 초점을 맞춰 주요 대규모 장문맥락 모델들을 연구합니다. 실험 결과, 이러한 모델들이 확장된 문맥으로 학습되더라도 장문맥락을 충분히 활용하지 못한다는 사실을 밝힙니다. 입력 중 가장 관련성이 높은 부분만 식별하고 처리하는 청크 기반 추론 절차를 통해 재귀적 메모리 실패를 완화하고 많은 장문맥락 작업에 효과적임을 보여줍니다. LongBench에서 제안하는 방법은 Falcon3-Mamba-Inst-7B의 성능을 14%, Falcon-Mamba-Inst-7B를 28%, RecurrentGemma-IT-9B를 50%, RWKV6-Finch-7B를 51% 향상시킵니다. 놀랍게도 이 간단한 접근 방식은 어려운 LongBench v2 벤치마크에서 최첨단 결과를 도출하여 동일한 크기의 Transformer와 경쟁력 있는 성능을 보여줍니다. 또한, 단일 청크 전략이 더 강력한 성능을 제공한다는 사실은 재귀 모델이 장거리 의존성을 실제로 활용하는지에 대한 의문을 제기합니다.
