Safety Anchor: Defending Harmful Fine-tuning via Geometric Bottlenecks

작성자

Haebom

카테고리

Empty

저자

Guoxin Lu, Letian Sha, Qing Wang, Peijie Sun, Hao Zhou, Hua Dai, Fu Xiao

💡 개요

본 논문은 대규모 언어 모델(LLM)의 안전 정렬이 유해 미세 조정(HFT)에 취약하다는 문제를 제기합니다. 기존 방어 기법이 고차원 파라미터 공간의 불필요한 중복성을 이용하여 회피되는 점에 착안하여, 본 연구는 유해한 쿼리의 최종 은닉 상태를 안전하게 정렬된 모델의 은닉 상태에 고정시키는 '안전 병목 현상 정규화(SBR)'라는 새로운 방어 기법을 제안합니다. 실험 결과, 단 하나의 안전 앵커만으로도 유해 점수를 현저히 낮추면서도 정상적인 작업 성능을 유지할 수 있음을 입증했습니다.

🔑 시사점 및 한계

•

LLM의 안전 정렬을 위한 새로운 차원의 방어 전략으로, 파라미터 공간이 아닌 기하학적 병목 지점을 활용하는 혁신적인 접근 방식을 제시합니다.

•

단일 안전 앵커만으로도 HFT 공격에 대해 강력한 방어 성능을 제공하며, 정상적인 LLM 성능 저하를 최소화하는 실용성을 보여줍니다.

•

'안전 앵커'의 최적 개수 및 다양한 HFT 공격 시나리오에 대한 일반화 성능, 그리고 SBR이 LLM의 전반적인 능력에 미칠 수 있는 잠재적 영향에 대한 추가적인 연구가 필요합니다.

PDF 보기

Made with Slashpage