자율 주행 지원 시스템(ADAS)의 결함 조건을 식별하고 현장 도로 테스트의 양을 줄이기 위해 운전 시뮬레이터를 사용한 시나리오 기반 테스트가 광범위하게 사용됩니다. 하지만 기존 연구에 따르면 동일한 시뮬레이터 및 서로 다른 시뮬레이터에서 반복적인 테스트 실행이 다른 결과를 산출할 수 있으며, 이는 플레이키니스 소스 또는 물리의 다른 구현 등 여러 요인에 기인할 수 있습니다. 본 논문에서는 여러 시뮬레이터를 활용하여 결함을 유발하는 시뮬레이터와 무관한 테스트 시나리오를 식별하는 검색 기반 테스트 접근 방식을 기반으로 하는 다중 시뮬레이션 ADAS 테스트에 대한 새로운 접근 방식인 MultiSim을 제시합니다. 검색 중에 각 시나리오는 여러 시뮬레이터에서 공동으로 평가됩니다. 시뮬레이터 간에 일관된 결과를 생성하는 시나리오는 추가 탐색을 위해 우선순위가 지정되고, 시뮬레이터의 하위 집합에서만 실패하는 시나리오는 일반화 가능한 실패라기보다는 시뮬레이터 관련 문제를 반영할 수 있으므로 우선순위가 낮습니다. 세 가지 널리 사용되는 시뮬레이터의 서로 다른 쌍에서 심층 신경망 기반 ADAS를 테스트하는 사례 연구를 통해 MultiSim이 평균적으로 51% 더 높은 시뮬레이터와 무관한 실패율을 달성함으로써 단일 시뮬레이터 테스트보다 성능이 우수함을 보여줍니다. 서로 다른 시뮬레이터에서 얻은 독립적인 테스트 생성 캠페인의 결과를 결합하는 최첨단 다중 시뮬레이터 접근 방식과 비교할 때 MultiSim은 유사한 유효성 검사율을 보이는 동시에 시뮬레이터와 무관한 실패 테스트를 54% 더 많이 식별합니다. 시뮬레이터 불일치를 예측하고 실행을 우회하기 위해 대리 모델을 활용하는 MultiSim의 개선은 유효한 실패의 평균 수를 늘릴 뿐만 아니라 첫 번째 유효한 실패를 찾는 효율성도 향상시킵니다.
