본 논문은 Transformer 기반 대규모 언어 모델(LLM)의 장문 처리 과제를 다룹니다. LLM은 단문 작업에서는 우수한 성능을 보이지만, 장문 맥락에서는 성능 저하가 발생합니다. 이에 대한 해결책으로 최근 제시된 다양한 연구들을 체계적으로 검토하고, 위치 인코딩, 맥락 압축, 검색 증강, 어텐션 패턴 등 네 가지 유형으로 분류하는 분류 체계를 제안합니다. 또한, 기존 장문 맥락 벤치마크를 기반으로 관련 데이터, 작업 및 지표를 정리하여 장문 맥락 평가에 중점을 두고, 해결되지 않은 문제점을 요약하고 미래 발전 방향에 대한 관점을 제시합니다.
