본 논문은 장문맥락 거대 언어 모델(LLM)의 높은 훈련 비용 문제를 해결하기 위해 메모리 효율적인 훈련 방법인 순차적 청크 단위 최적화(SeCO)와 스파스 청크 단위 최적화(SpaCO)를 제안합니다. SeCO는 긴 입력을 작은 청크로 나누어 각 청크마다 독립적으로 계산 그래프를 생성하고 국지적 역전파를 수행하여 메모리 사용량을 줄입니다. SpaCO는 특정 청크에만 선택적으로 기울기를 전파하고, 편향되지 않은 기울기 추정을 위해 보정 계수를 사용하여 계산 비용을 추가로 줄입니다. 결과적으로 SpaCO는 역전파의 계산 비용을 문맥 길이와 분리하여 긴 시퀀스에서 훈련 시간을 추론 시간에 가깝게 만듭니다. SeCO와 SpaCO는 경량 훈련 래퍼로 구현되어 실질적인 이점을 제공하며, 실험 결과 8B 모델을 LoRA를 사용하여 단일 RTX 3090 GPU에서 미세 조정할 때 SeCO는 최대 시퀀스 길이를 1K 토큰에서 16K 토큰으로 확장하고, SpaCO는 SeCO보다 최대 3배 빠른 훈련 속도를 보였습니다. 코드는 공개되었습니다.
