Safety Anchor: Defending Harmful Fine-tuning via Geometric Bottlenecks

작성자

Haebom

카테고리

Empty

저자

Guoxin Lu, Letian Sha, Qing Wang, Peijie Sun, Hao Zhou, Hua Dai, Fu Xiao

💡 개요

본 논문은 대규모 언어 모델(LLM)의 안전 정렬이 유해한 파인튜닝(HFT)에 취약하다는 점을 지적하며, 기존 방어 방법론이 파라미터 공간의 중복성을 악용한 공격에 취약함을 분석했습니다. 이를 해결하기 위해, 제안하는 Safety Bottleneck Regularization(SBR)은 유해한 쿼리의 최종 은닉 상태를 안전하게 정렬된 모델의 은닉 상태에 고정하여, 유해한 파인튜닝 공격에도 안전한 응답을 유지하도록 합니다. 실험 결과, 단 하나의 안전 앵커만으로도 유해 점수를 10% 미만으로 낮추면서도 정상적인 다운스트림 작업 성능을 유지하는 효과를 입증했습니다.

🔑 시사점 및 한계

•

유해한 파인튜닝 공격을 효과적으로 방어하기 위해 파라미터 공간이 아닌, 임베딩(unembedding) 레이어를 기하학적 병목 현상(geometric bottleneck)으로 활용하는 새로운 접근 방식을 제시합니다.

•

단 하나의 안전 앵커만으로도 강력한 방어 성능을 달성할 수 있음을 실험적으로 입증하여, LLM 안전 강화에 대한 실질적인 해결책을 제시합니다.

•

제안된 방법론의 일반화 가능성 및 다양한 LLM 아키텍처에 대한 적용성, 그리고 공격자의 더욱 고도화된 회피 기법에 대한 추가적인 연구가 필요합니다.

PDF 보기

Made with Slashpage