본 논문은 대규모 언어 모델(LLM) 학습의 시작 오버헤드 문제를 다룬다. 기존 연구가 주로 학습 효율 및 안정성에 초점을 맞춘 반면, 본 논문은 대규모 산업 환경에서 중요성이 증대하고 있는 학습 시작 지연 문제에 집중한다. 실제 운영 데이터를 기반으로 LLM 학습 시작 오버헤드를 심층적으로 분석하고, 그 구성 요소를 분석하고 직접적인 영향을 정량화하며 작업 크기에 따른 확장성을 조사한다. 이러한 통찰력을 바탕으로, 컨테이너 이미지 로딩, 런타임 의존성 설치, 모델 체크포인트 재개 등 세 가지 주요 병목 현상을 해결하는 시스템 수준 최적화 프레임워크인 Bootseer를 제시한다. Bootseer는 hot block record-and-prefetch, dependency snapshotting, striped HDFS-FUSE 세 가지 기술을 도입하여 시작 오버헤드를 50% 감소시키는 것을 실험적으로 증명한다.
시사점, 한계점
•
시사점:
◦
LLM 학습 시작 오버헤드의 심각성을 실제 운영 데이터를 통해 정량적으로 제시.
◦
LLM 학습 시작 오버헤드의 주요 원인을 분석하고 효과적인 해결책 제시.
◦
Bootseer를 통해 LLM 학습 시작 오버헤드를 50% 감소시키는 성과 달성.
◦
산업 현장에 적용 가능한 실용적인 시스템 최적화 프레임워크 제시.
•
한계점:
◦
Bootseer의 성능 향상은 특정 환경(저자들의 클러스터)에 국한될 가능성 존재. 다른 환경에서의 일반화 가능성에 대한 추가 연구 필요.
◦
분석 대상이 된 LLM의 종류와 크기가 제한적일 수 있음. 다양한 LLM에 대한 확장 연구 필요.
