본 논문은 고위험 환경에서 인공지능(AI)/머신러닝(ML) 시스템을 책임감 있게 배포하기 위해서는 시스템 신뢰성 증명뿐만 아니라 배포 후 지속적인 모니터링을 통해 안전하지 않은 동작을 신속하게 감지하고 해결해야 함을 강조합니다. 비모수 순차 검정 방법, 특히 conformal test martingales (CTMs) 및 anytime-valid inference는 이러한 모니터링 작업에 유용한 도구를 제공하지만, 기존 접근 방식은 제한된 가설 클래스 또는 "경고 기준"(예: 특정 교환성 또는 IID 가정을 위반하는 데이터 변화 감지) 모니터링으로 제한되며, 변화에 대한 온라인 적응을 허용하지 않거나, 성능 저하 또는 경고의 원인을 진단할 수 없습니다. 본 논문에서는 가중 일반화 conformal test martingales (WCTMs)을 제안하여 데이터 분포의 예상치 못한 변화점에 대한 온라인 모니터링을 위한 이론적 토대를 마련하고, 허위 경보를 제어합니다. 실제 응용을 위해 온라인으로 경미한 공변량 변화(주변 입력 분포에서)에 적응하고, 유해한 변화를 신속하게 감지하며, 개념 변화(조건부 레이블 분포에서) 또는 쉽게 적응할 수 없는 극단적인(지원 범위를 벗어난) 공변량 변화로 유해한 변화를 진단하는 특정 WCTM 알고리즘을 제안합니다. 실제 데이터 세트에서 최첨단 기준 모델보다 향상된 성능을 보여줍니다.
