GenoArmory: A Unified Evaluation Framework for Adversarial Attacks on Genomic Foundation Models
Created by
Haebom
저자
Haozheng Luo, Chenghao Qiu, Yimin Wang, Shang Wu, Jiahao Yu, Han Liu, Binghui Wang, Yan Chen
개요
GenoArmory라는 최초의 통합적 적대적 공격 벤치마크를 제안합니다. 기존의 GFM(Genomic Foundation Models) 벤치마크와 달리, GenoArmory는 GFM의 적대적 공격에 대한 취약성을 체계적으로 평가하는 포괄적인 평가 프레임워크를 제공합니다. 5개의 최첨단 GFM을 4가지 널리 사용되는 공격 알고리즘과 3가지 방어 전략을 사용하여 적대적 강건성을 평가합니다. 모델 아키텍처, 양자화 방식 및 훈련 데이터 세트와 관련하여 GFM 취약성을 분석하기 위한 접근 가능하고 포괄적인 프레임워크를 제공합니다. 또한 GFM 안전성 향상을 위해 설계된 새로운 적대적 샘플 데이터 세트인 GenoAdv를 소개합니다. 실험적으로 분류 모델은 생성 모델에 비해 적대적 섭동에 대한 강건성이 더 크다는 것을 보여주며, 작업 유형이 모델 취약성에 미치는 영향을 강조합니다. 또한 적대적 공격은 종종 생물학적으로 중요한 유전체 영역을 표적으로 하여 이러한 모델이 의미 있는 시퀀스 특징을 효과적으로 포착함을 시사합니다.
시사점, 한계점
•
시사점:
◦
GFM의 적대적 공격에 대한 취약성을 체계적으로 평가하는 최초의 포괄적인 벤치마크 프레임워크인 GenoArmory를 제공합니다.
◦
분류 모델이 생성 모델보다 적대적 공격에 더 강건하다는 것을 실험적으로 보여줍니다.
◦
적대적 공격이 생물학적으로 중요한 유전체 영역을 표적으로 한다는 것을 발견하여 모델이 의미 있는 시퀀스 특징을 잘 포착함을 시사합니다.
◦
GFM 안전성 향상을 위한 새로운 적대적 샘플 데이터 세트 GenoAdv를 제공합니다.
•
한계점:
◦
논문에서는 구체적인 한계점을 언급하지 않습니다. 향후 연구를 통해 GenoArmory의 한계점 및 개선 방향이 제시될 필요가 있습니다. (예: 평가된 GFM의 종류 및 공격 알고리즘의 제한, GenoAdv 데이터셋의 일반화 성능 등)
