본 논문은 클라우드 데이터 센터에서 AI 가속기의 지배적인 공급자인 NVIDIA 외에 AMD, Intel, Mac, Huawei와 같은 신규 벤더들의 AI 가속기에서 머신러닝 모델의 차이를 조사하는 첫 번째 실증 연구를 제시한다. 자동화된 파이프라인을 사용하여 4,000개의 실제 모델에서 파생된 100,000개 이상의 변형 모델을 합성하고 5개의 서로 다른 엔터프라이즈급 가속기에서 실행했다. 연구 결과, Mac과 Huawei의 새로운 AI 플랫폼은 NVIDIA보다 최소 17% 적은 연산자를 지원하며, 연산자 구현의 차이, 예외적인 수치 값 처리, 명령어 스케줄링 등으로 인해 5% 이상의 출력 불일치율을 보인다. 또한, 모델 컴파일 기반 가속화 중 실패에 더 취약하며, 일부 경우 컴파일된 모델은 표준 실행 모드를 사용하여 생성된 출력과 눈에 띄게 다른 출력을 생성한다. PyTorch에서 7개의 구현 결함과 벤더 전반에서 40개의 플랫폼별 문제를 확인했다.
