본 논문은 안전 중요 시스템의 심층 신경망(DNN) 구성 요소를 비용 효율적으로 테스트하기 위해 검색 알고리즘에 의해 구동되는 시뮬레이터를 통해 합성 입력을 생성하는 방법을 제안합니다. 많은 응용 프로그램에서 시뮬레이터는 자동화된 테스트 오라클에 필요한 정답 데이터를 생성하고 검색 프로세스를 안내할 수 없다는 문제를 해결하기 위해, 시뮬레이터의 충실도를 보장하는 생성 네트워크를 통합하고 변환 일관성, 내잡음성, 놀라움 적절성 및 불확실성 추정을 활용하는 휴리스틱 기반 검색 적합도를 사용하는 컴퓨터 비전 DNN을 위한 입력 생성 방식을 제시합니다. 제안된 적합도 함수의 성능을 정답을 활용하는 기존 적합도 함수와 비교하고, 정답을 활용하지 않는 GAN 통합이 테스트 및 재훈련 효과에 미치는 영향을 평가합니다. 실험 결과, 변환 일관성을 활용하는 것이 DNN 테스트 및 재훈련을 위한 입력 생성에 가장 효과적임을 보여주며, 입력 다양성을 극대화하고 DNN 성능 저하를 초래하는 입력을 찾아내어 재훈련 후 최상의 DNN 성능을 달성합니다. 본 연구는 정답이 없는 상황에서 시뮬레이터 기반 테스트를 가능하게 할 뿐만 아니라, 시뮬레이터보다 저렴할 수 있지만 정답 데이터를 생성할 수 없는 확산 모델 및 대규모 언어 모델로 시뮬레이터를 대체하는 테스트 솔루션을 위한 길을 열어줍니다.
