본 논문은 Tri-Accel이라는 통합 최적화 프레임워크를 제시합니다. Tri-Accel은 훈련 중에 세 가지 가속화 전략과 적응형 매개변수를 공동으로 적응시키는 방법입니다. 세 가지 전략은 곡률과 기울기 분산에 따라 혼합 정밀도 수준을 동적으로 할당하는 정밀도 적응 업데이트(Precision-Adaptive Updates), Hessian/Fisher 스파스 패턴을 활용하여 정밀도와 단계 크기 결정을 안내하는 스파스 2차 신호(Sparse Second-Order Signals), 그리고 VRAM 가용성에 따라 배치 크기를 실시간으로 조정하는 메모리 탄력적 배치 스케일링(Memory-Elastic Batch Scaling)입니다. ResNet-18 및 EfficientNet-B0를 사용한 CIFAR-10 실험에서 Tri-Accel은 훈련 시간을 최대 9.9% 단축하고 메모리 사용량을 13.3% 줄이면서 정확도를 FP32 기준선보다 +1.1% 향상시켰습니다. Tri-Accel은 사용자 정의 Triton 커널을 사용하여 구현되어 하드웨어 인식 적응을 통해 수동 하이퍼파라미터 조정 없이 자동 최적화를 가능하게 합니다.
