본 논문은 최신 drift-adaptive 악성코드 분류기의 성능 수치가 기대만큼 실제 운영 신뢰성으로 이어지는지에 대한 의문을 제기합니다. 기존 평가 방식은 기준 성능 지표에만 집중하고, 신뢰도-오류 정렬 및 운영 안정성을 간과합니다. TESSERACT가 시간적 평가의 중요성을 확립한 반면, 본 논문은 분포 변화 시 악성코드 분류기가 신뢰할 수 있는 신뢰도 추정치를 유지하는지 조사하고, 그렇지 않을 때 과학적 발전과 실질적 영향 간의 긴장 관계를 탐구하는 보완적인 방향을 제시합니다. 이를 위해, 신뢰도 품질과 운영 탄력성을 기반으로 악성코드 분류기를 평가하는 AURORA 프레임워크를 제안합니다. AURORA는 주어진 모델의 신뢰도 프로파일을 검증하여 추정치의 신뢰성을 평가합니다. 신뢰할 수 없는 신뢰도 추정치는 운영상의 신뢰를 떨어뜨리고, 능동 학습에 비정보적인 샘플에 귀중한 주석 예산을 낭비하며, 선택적 분류에서 오류가 발생하기 쉬운 인스턴스를 탐지하지 못하게 합니다. AURORA는 시간적 평가 기간 동안 운영 안정성에 대한 보다 포괄적인 평가를 위해 단일 시점 성능을 넘어서는 지표 집합으로 보완됩니다. 다양한 드리프트 심각도의 데이터 세트에서 최첨단 프레임워크에서 관찰되는 취약성은 기존 방식의 재검토가 필요함을 시사합니다.
