본 논문은 FP4 정밀도로 Transformer를 사전 훈련하는 방법의 속도 향상 가능성에 주목하지만, 정확도 저하 문제를 해결하기 위해 TetraJet이라는 새로운 훈련 방법을 제안합니다. 기존의 MXFP4 데이터 형식을 사용한 훈련에서 발생하는 정확도 저하의 주요 원인으로 가중치 진동 문제를 규명하고, 이를 해결하기 위해 EMA Quantizer (Q-EMA)와 Adaptive Ramping Optimizer (Q-Ramping)라는 두 가지 새로운 방법을 제시합니다. Vision Transformers에 대한 광범위한 실험을 통해 기존의 4-bit 훈련 방법보다 우수한 성능을 보이며, 기준 모델 대비 정확도 저하를 50% 이상 감소시키고, 심지어는 전 정밀도 훈련과 비교해도 경쟁력 있는 성능을 달성함을 보여줍니다.
