Dion은 대규모 AI 모델을 효율적으로 학습하기 위해 여러 가속기에서 연산을 분산하는 과정에서 발생하는 상당한 통신 오버헤드, 특히 기울기 동기화 과정에서의 오버헤드를 줄이는 통신 효율적인 최적화 알고리즘입니다. 기존의 전체 기울기 행렬을 동기화하는 최적화 알고리즘과 달리, Dion은 장치 로컬 모멘텀 버퍼를 사용한 직교화된 업데이트를 활용하여 전체 기울기 교환을 제거합니다. 또한 학습 중에 큰 행렬을 재구성할 필요가 없는 효율적인 샤딩 전략을 지원합니다. 기존의 분산 학습(예: DDP, FSDP)의 동기 방식을 유지하면서 I/O 비용을 크게 줄입니다.
