본 논문은 단백질 기반 모델의 잠재적 오용에 대한 우려를 해결하기 위해 개발된 첫 번째 red-teaming 프레임워크인 SafeProtein을 소개합니다. SafeProtein은 멀티모달 프롬프트 엔지니어링과 휴리스틱 빔 서치를 결합하여 단백질 모델에 대한 체계적인 red-teaming 방법을 설계하고 테스트합니다. SafeProtein-Bench라는 수동으로 구축된 red-teaming 벤치마크 데이터셋과 포괄적인 평가 프로토콜도 포함합니다. SafeProtein은 최첨단 단백질 모델에 대한 지속적인 jailbreak를 성공적으로 수행하여(ESM3의 경우 최대 70% 공격 성공률) 잠재적인 생물학적 안전 위험을 드러내고, 강력한 보안 보호 기술 개발에 대한 통찰력을 제공합니다.
시사점, 한계점
•
시사점:
◦
단백질 기반 모델의 잠재적 오용 및 생물학적 안전 위험에 대한 첫 번째 red-teaming 프레임워크를 제시.
◦
멀티모달 프롬프트 엔지니어링 및 휴리스틱 빔 서치를 활용한 체계적인 red-teaming 방법론 개발.
