본 논문은 현대 대규모 언어 모델(LLM)의 핵심인 Next-Token Prediction (NTP)의 한계를 극복하기 위해, Next-Context Prediction 목표를 추가한 새로운 프레임워크인 ContextLM을 제안한다. ContextLM은 여러 토큰으로 구성된 컨텍스트의 예측 표현을 학습하도록 모델을 훈련시켜, 더 높은 수준의 의미 구조와 장거리 문맥 관계를 파악할 수 있도록 돕는다. ContextLM은 표준 자동 회귀, 토큰 단위 평가 방식과 호환되며, GPT2 및 Pythia 모델에 적용한 결과, 모델의 성능 향상을 보였다.
