본 논문은 대규모 언어 모델(LLM)의 훈련 비용 절감을 위해 4비트 완전 양자화 훈련(FQT) 방법인 TetraJet-v2를 소개한다. TetraJet-v2는 NVFP4 형식을 사용하여 모든 선형 레이어의 활성화, 가중치 및 기울기를 4비트로 양자화한다. 논문은 낮은 정밀도 LLM 훈련의 주요 문제점인 가중치 진동과 이상치를 해결하기 위해, 1) NVFP4 선형 레이어에 대한 편향되지 않은 이중 블록 양자화 방법, 2) 가중치 진동 억제를 위한 OsciReset 알고리즘, 3) 이상치 정확도 유지를 위한 OutControl 알고리즘을 제안한다. TetraJet-v2는 최대 370M 모델 크기 및 200B 토큰 데이터 크기에서 이전 FP4 훈련 방법보다 일관되게 우수한 성능을 보이며, full-precision 훈련과의 성능 격차를 평균 51.3% 감소시킨다.
