OODTE: A Differential Testing Engine for the ONNX Optimizer
Created by
- Haebom
Category
Empty
저자
Nikolaos Louloudakis, Ajitha Rajan
개요
본 논문은 ONNX Optimizer의 정확성을 자동으로 철저하게 평가하는 유틸리티인 OODTE를 제안한다. OODTE는 차등 테스트 및 평가 방식을 사용하여 ONNX 모델을 최적화하고 원본과 최적화된 모델을 사용자 정의 입력 집합에서 실행하여 최적화 과정의 문제를 자동으로 로깅한다. 성공적으로 최적화된 모델의 경우 결과를 비교하고, 정확도 편차가 관찰되면 ONNX Optimizer의 각 단계를 반복하여 차이점의 근본 원인을 찾는다. 실험 결과, ONNX Model Hub의 130개 모델을 사용하여 15개의 문제(그 중 14개는 기존에 알려지지 않은 문제)를 감지했으며, 이는 최적화기 충돌 및 정확도 편차와 관련이 있다. 또한, 모든 모델 인스턴스의 9.2%가 최적화기 충돌 또는 잘못된 모델 생성으로 이어지는 문제를 보였고, 분류 모델의 30%, 의미론적 분할 및 객체 탐지 모델의 16.6%가 정확도 차이를 보였다.
시사점, 한계점
•
시사점:
◦
ONNX Optimizer의 정확성 평가를 위한 효율적인 자동화된 방법(OODTE)을 제시한다.
◦
ONNX Optimizer의 다양한 문제점(최적화기 충돌, 정확도 편차 등)을 광범위하게 발견하고 보고한다.
◦
ONNX 모델 최적화 과정에서 발생할 수 있는 문제의 심각성을 수치적으로 제시한다.
•
한계점:
◦
OODTE의 성능 및 효율성에 대한 자세한 분석이 부족하다.
◦
평가에 사용된 모델의 다양성이 제한적일 수 있다 (ONNX Model Hub의 130개 모델만 사용).
◦
특정 유형의 모델(분류, 객체 탐지, 의미론적 분할)에 대한 편향이 존재할 수 있다.
◦
정확도 편차의 허용 기준 및 측정 방식에 대한 자세한 설명이 부족하다.
