본 논문은 Transformer 기반 인코더-디코더 모델을 이용한 긴 문서 요약에서 발생하는 기존의 어려움, 즉 훈련 중 이차적인 메모리 소비 문제를 해결하기 위한 새로운 방법인 CachED(Gradient Caching for Encoder-Decoder models)를 제안합니다. CachED는 입력 문서를 자르지 않고 전체 문서를 사용하여 엔드-투-엔드 훈련을 가능하게 합니다. 비겹치는 슬라이딩 윈도우를 이용하여 입력 문서를 처리하고, 디코더에서 융합하는 방식을 사용하며, 역전파 과정에서 기울기(gradient)를 디코더에 캐싱하고 인코더를 통해 청크 단위로 재계산하여 전달합니다. 실험 결과, BART 모델을 CachED BART로 확장하여 50만 토큰 이상을 처리하면서 추가적인 파라미터 없이 우수한 성능을 달성했습니다.
