본 논문은 머신러닝 모델의 복잡성 증가에 따라 계산 자원 관리의 중요성이 커짐에 따라, 자원 사용을 최적화하기 위해 다양한 수치적 정밀도를 활용하는 혼합 정밀도 기법이 널리 채택되고 있음을 배경으로 합니다. 그러나 낮은 정밀도 형식(예: FP8 또는 FP4)을 지원하는 하드웨어 접근은 제한적이며, 특히 하드웨어 제약이 있는 실무자들에게는 더욱 그렇습니다. 본 연구는 16비트 정밀도가 32비트 정밀도와 비교할 만한 결과를 달성할 수 있다는 일반적인 믿음을 이론적 분석과 실증적 평가를 통해 체계적으로 검증한 최초의 연구입니다. 부동 소수점 오류와 분류 허용 오차에 대한 이론적 공식화를 통해 16비트 정밀도가 32비트 결과를 근사할 수 있는 조건에 대한 새로운 통찰력을 제공합니다. 결론적으로, 본 논문은 독립적인 16비트 정밀도 신경망이 정확도 측면에서 32비트 및 혼합 정밀도와 일치하면서 계산 속도를 높인다는 것을 최초로 증명합니다.
