ONNX Optimizer는 ONNX 모델에 그래프 기반 최적화를 적용하는 데 사용되는 도구이지만, 최적화 과정에서 모델 정확성을 유지하는 능력이 충분히 연구되지 않았다. 본 연구에서는 ONNX Optimizer의 정확성을 자동적이고 포괄적으로 평가하기 위한 유틸리티인 OODTE를 제시한다. OODTE는 차등 테스트 및 평가 방법론을 사용하여, ONNX 모델 컬렉션에 최적화를 적용하고, 원래 버전과 최적화된 버전을 사용자 정의 입력 세트에서 실행하여 최적화 중 발생하는 문제를 자동으로 포착한다. OODTE는 ONNX Model Hub의 130개 모델에 적용되었으며, 그 결과 9.2%의 모델 인스턴스가 최적화 과정에서 충돌을 일으키거나 유효하지 않은 모델을 생성했으며, 30%의 분류 모델과 16.6%의 객체 감지 및 분할 모델이 다른 출력을 보였다. OODTE는 15개의 문제를 발견했으며, 이는 47개의 최적화 패스 중 9개에 영향을 미쳤다.
