Pretraining large language models with MXFP4

작성자

Haebom

카테고리

Empty

저자

Musa Cim, Poovaiah Palangappa, Miro Hodak, Ravi Dwivedula, Meena Arunachalam, Mahmut Taylan Kandemir

💡 개요

본 연구는 대규모 언어 모델(LLM) 학습 시 FP4(4비트 부동소수점) 양자화를 사용할 때 발생하는 발산 문제를 해결하고자 합니다. 특히, 순방향 활성화 및 활성화 기울기가 안정적인 상태에서도 학습이 불안정해지는 원인을 MXFP4(Mixed Precision FP4) 양자화의 각 단계(순방향 전파, 활성화 기울기, 가중치 기울기)를 점진적으로 활성화하며 분석했습니다. 연구 결과, 가중치 기울기의 FP4 양자화가 학습 발산의 주된 원인이며, 이를 해결하기 위한 구조적인 방법을 제안합니다.

🔑 시사점 및 한계

•

FP4 양자화를 LLM 학습에 적용할 때, 가중치 기울기(Wgrad) 양자화가 학습 안정성을 저해하는 가장 큰 요인임을 실험적으로 규명했습니다.

•

순방향 전파(Fprop)와 활성화 기울기(Dgrad)의 FP4 양자화는 상대적으로 학습 안정성에 미치는 영향이 적으며, 적은 양의 추가 토큰 요구량으로도 안정적인 학습이 가능함을 보였습니다.

•

FP4 학습의 불안정성은 단순히 무작위성 부족 때문이 아니라, 민감한 기울기 경로를 따라 발생하는 구조적인 미세 스케일링 오류에 의해 발생하며, 결정론적 Hadamard 회전이 이러한 문제를 해결할 수 있음을 시사합니다.

•

본 연구는 소프트웨어 에뮬레이션에 의존하지 않고 AMD Instinct MI355X GPU의 네이티브 MXFP4 지원을 활용하여 실험을 진행했으며, 이는 향후 LLM 학습 효율성 증대를 위한 하드웨어 수준의 최적화 연구에 기여할 수 있습니다.

PDF 보기

Made with Slashpage