Open-weight genome language model safeguards: Assessing robustness via adversarial fine-tuning
Created by
Haebom
Category
Empty
저자
James R. M. Black, Moritz S. Hanke, Aaron Maiwald, Tina Hernandez-Boussard, Oliver M. Crook, Jaspreet Pannu
개요
본 논문은 유전체 언어 모델(gLM)의 오용 가능성에 대한 연구를 수행하며, 특히 사전 학습 데이터에서 바이러스 유전체 시퀀스를 제거하는 방식을 통해 gLM의 바이러스 관련 능력을 제한하려는 시도의 효과를 평가한다. 최신 gLM 모델인 Evo 2를 사용하여 110종의 인체 감염 바이러스 시퀀스로 미세 조정을 수행한 결과, 모델이 바이러스 관련 작업을 수행하는 능력이 회복될 수 있음을 확인했다. 특히, SARS-CoV-2 시퀀스에 노출되지 않았음에도 불구하고 면역 회피 변이를 식별하는 능력을 보였다.
시사점, 한계점
•
사전 학습 데이터에서 바이러스 시퀀스 제외는 gLM의 오용 위험을 완전히 제거하는 데 효과적이지 않다.
•
미세 조정(fine-tuning)을 통해 오용 관련 능력이 회복될 수 있으며, 이는 모델의 안전성에 대한 새로운 위협을 제기한다.
•
SARS-CoV-2 시퀀스에 노출되지 않은 모델이 면역 회피 변이를 식별하는 능력은 gLM의 일반화 능력을 보여준다.
