Distributionally Robust Statistical Verification with Imprecise Neural Networks
Created by
- Haebom
Category
Empty
저자
Souradeep Dutta, Michele Caprio, Vivian Lin, Matthew Cleaveland, Kuk Jin Jang, Ivan Ruchkin, Oleg Sokolsky, Insup Lee
개요
본 논문은 고차원 자율 시스템의 안전성을 보장하는 문제에 대해 다룬다. 기존의 도달 가능성 분석 기반 검증 방법은 확장성이 부족하고, 순수 통계적 접근 방식은 표본 추출 과정에 대한 분포 가정에 제약을 받는다는 한계를 지적한다. 이에 본 논문은 블랙박스 시스템에 대한 분포적으로 강건한 통계적 검증 문제를 제시하며, 넓은 분포 집합에 대해 성능 보장을 제공하는 새로운 접근 방식을 제안한다. 불확실성 정량화를 위해 불확정 확률 개념을 기반으로 하는, Imprecise Neural Networks라는 새로운 앙상블 기법을 제안하고, 활성 학습을 이용하여 입력 집합을 탐색하는 문제를 해결한다. 활성 학습은 신경망 검증 도구인 Sherlock을 사용하여 표본을 수집한다. OpenAI Gym Mujoco 환경에서 강화 학습된 제어기를 사용하는 여러 물리 시뮬레이터에 대한 평가를 통해 고차원 시스템에 대한 유용하고 확장 가능한 보장을 제공할 수 있음을 보여준다.
시사점, 한계점
•
시사점:
◦
고차원 자율 시스템의 안전성 검증 문제에 대한 새로운 접근 방식 제시
◦
불확정 확률 기반의 Imprecise Neural Networks를 이용한 불확실성 정량화
◦
활성 학습 기법을 통한 효율적인 입력 집합 탐색
◦
실제 물리 시뮬레이터를 이용한 실험적 검증을 통해 접근 방식의 효용성과 확장성 입증
•
한계점:
◦
Sherlock과 같은 신경망 검증 도구의 계산 비용이 높을 수 있음.
◦
Imprecise Neural Networks의 성능이 특정 유형의 시스템이나 분포에 의존할 가능성 존재.
◦
활성 학습 전략의 최적화 여지 존재.
◦
다양한 종류의 고차원 시스템에 대한 일반화 가능성에 대한 추가 연구 필요.
