Reducing Instability in Synthetic Data Evaluation with a Super-Metric in MalDataGen
Created by
Haebom
Category
Empty
저자
Anna Luiza Gomes da Silva, Diego Kreutz, Angelo Diniz, Rodrigo Mansilha, Celso Nobre da Fonseca
개요
Android 멀웨어 도메인에서 합성 데이터의 품질 평가가 불안정성과 기존 지표의 표준화 부족으로 인해 지속적인 과제로 남아있다. 본 연구는 MalDataGen에 4가지 충실도 차원에 걸쳐 8개의 지표를 집계하여 단일 가중 점수를 생성하는 Super-Metric을 통합한다. 10개의 생성 모델과 5개의 균형 잡힌 데이터 세트를 사용한 실험에서 Super-Metric이 기존 지표보다 안정적이고 일관성이 높으며 분류기의 실제 성능과 더 강한 상관 관계를 보이는 것을 입증했다.