본 논문은 ONNX Optimizer의 정확성을 자동으로 포괄적으로 평가하기 위한 유틸리티인 OODTE를 제시한다. OODTE는 차등 테스트 및 평가 방법론을 채택하여 ONNX 모델에 최적화를 적용하고 원본과 최적화된 버전을 모두 실행하여 최적화 중 발생하는 문제를 자동으로 캡처한다. 정확도 차이가 발생하면 OODTE는 더 세분화된 단계에서 프로세스를 반복하여 책임 있는 최적화 단계를 반복적으로 격리한다. 130개의 ONNX 모델을 사용한 평가 결과, 9.2%의 모델 인스턴스에서 최적화기가 충돌하거나 잘못된 모델이 생성되었으며, 분류 모델의 30%, 객체 탐지 및 분할 모델의 16.6%에서 원본과 최적화된 버전 간에 다른 출력이 나타났다. 텍스트 관련 작업에 중점을 둔 모델은 일반적으로 최적화에 강건했다. OODTE는 47개의 최적화 패스 중 9개와 최적화기 전반에 영향을 미치는 15개의 문제(이전에 알려지지 않은 14개 포함)를 발견했으며, 모든 문제는 ONNX Optimizer 팀에 보고되었다. OODTE는 ONNX 생태계를 넘어 AI 모델 최적화기를 검증하는 간단하지만 효과적인 프레임워크를 제공한다.
