Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Reducing Instability in Synthetic Data Evaluation with a Super-Metric in MalDataGen

Created by
  • Haebom
Category
Empty

저자

Anna Luiza Gomes da Silva, Diego Kreutz, Angelo Diniz, Rodrigo Mansilha, Celso Nobre da Fonseca

개요

Android 멀웨어 도메인에서 합성 데이터의 품질 평가가 불안정성과 기존 지표의 표준화 부족으로 인해 지속적인 과제로 남아있다. 본 연구는 MalDataGen에 4가지 충실도 차원에 걸쳐 8개의 지표를 집계하여 단일 가중 점수를 생성하는 Super-Metric을 통합한다. 10개의 생성 모델과 5개의 균형 잡힌 데이터 세트를 사용한 실험에서 Super-Metric이 기존 지표보다 안정적이고 일관성이 높으며 분류기의 실제 성능과 더 강한 상관 관계를 보이는 것을 입증했다.

시사점, 한계점

시사점:
Super-Metric은 기존 지표보다 안정적이고 일관적인 성능을 보인다.
분류기의 실제 성능과 강한 상관관계를 보인다.
MalDataGen에 통합되어 합성 데이터 품질 평가를 개선한다.
한계점:
논문에서 구체적인 한계점에 대한 언급은 없음.
👍