본 논문은 인간 수준의 번역을 달성하기 위해서는 문맥을 활용하여 일관성을 유지하고 대명사 해소와 같은 복잡한 현상을 처리해야 함을 강조한다. 표준 훈련 데이터에서 문맥적으로 풍부한 예시의 부족이 문맥 활용의 어려움의 원인이라는 가설을 검증하기 위해, 문맥적으로 관련된 예시의 비율을 제어하여 훈련 데이터셋을 구성하고 단일 언어 및 다국어 환경에서 실험을 진행했다. 훈련 데이터의 희소성과 모델 성능 간의 강한 상관관계를 보여줌으로써 희소성이 주요 병목 현상임을 확인했다. 흥미롭게도, 한 문맥 현상에서의 개선이 다른 현상으로 일반화되지 않음을 밝혔으며, 일부 교차 언어 전이가 관찰되었지만 같은 어족 내 언어 간에 현저하게 높지는 않았다. 마지막으로, 사용 가능한 데이터를 활용하도록 설계된 두 가지 훈련 전략을 제안하고 실험적으로 평가하여 단일 언어 및 다국어 설정에서 각각 최대 6% 및 8%의 정확도 향상을 달성했다.
