본 논문은 Transformer 기반 대규모 언어 모델(LLM)의 장문 처리 과제를 다룬다. 짧은 텍스트에서는 강력한 성능을 보이지만, 장문 맥락에서는 성능 저하가 발생하는 LLM의 한계를 지적하며, 이를 해결하기 위한 최근 연구들을 체계적으로 검토한다. 장문 처리에 대한 과제들을 제시하고, 위치 인코딩, 맥락 압축, 검색 증강, 어텐션 패턴 등 네 가지 유형으로 접근 방식을 분류한다. 또한, 기존 장문 맥락 벤치마크를 기반으로 관련 데이터, 작업 및 지표를 구성하여 장문 맥락 평가에 중점을 두고, 미해결 과제와 미래 발전 방향을 제시한다.
