EVOREFUSE: Evolutionary Prompt Optimization for Evaluation and Mitigation of LLM Over-Refusal to Pseudo-Malicious Instructions
Created by
Haebom
저자
Xiaorui Wu, Xiaofeng Mao, Fei Li, Xin Zhang, Xiaolu Zhang, Jun Zhou, Yuxiang Peng, Li Zheng, Chong Teng, Donghong Ji, Zhuang Li
개요
본 논문은 대규모 언어 모델(LLM)의 과도한 거부 반응 문제를 해결하기 위해, 진정으로 악의적이지는 않지만 LLM의 보수적인 안전 정렬로 인해 불필요한 거부 반응을 유발하는 의도(pseudo-malicious instructions)를 효과적으로 생성하는 프롬프트 최적화 기법인 EVOREFUSE를 제안합니다. EVOREFUSE는 진화 알고리즘을 사용하여 다양한 의도를 생성하고, LLM의 거부 확률을 극대화하도록 반복적으로 프롬프트를 개선합니다. 이를 통해 EVOREFUSE-TEST(582개의 pseudo-malicious instructions)와 EVOREFUSE-ALIGN(3,000개의 pseudo-malicious instructions 및 응답 데이터) 두 개의 새로운 데이터셋을 생성합니다. EVOREFUSE-ALIGN을 사용하여 미세 조정된 LLAMA3.1-8B-INSTRUCT 모델은 기존 모델에 비해 과도한 거부 반응을 최대 14.31% 줄였습니다. 분석 결과, 모델은 맥락을 무시하고 민감한 키워드에 과도하게 집중하여 과도한 거부 반응을 일으키는 것으로 나타났습니다.
시사점, 한계점
•
시사점:
◦
EVOREFUSE는 기존 방법보다 더 다양하고 효과적인 거부 유발 프롬프트를 생성하여 LLM의 과도한 거부 문제를 해결하는 데 효과적인 방법을 제시합니다.
◦
EVOREFUSE-TEST 및 EVOREFUSE-ALIGN 데이터셋은 LLM의 안전성 평가 및 개선에 유용한 자료를 제공합니다.
◦
LLM의 과도한 거부 현상이 민감한 키워드에 대한 과도한 집중으로 인한 것임을 밝혀냄으로써, 향후 모델 개발 방향을 제시합니다.
◦
EVOREFUSE-ALIGN을 이용한 미세조정으로 안전성을 저해하지 않고 과도한 거부를 감소시킬 수 있음을 보여줍니다.
•
한계점:
◦
EVOREFUSE가 생성하는 프롬프트의 악의성 여부 판단에 대한 명확한 기준이 부족할 수 있습니다.
◦
특정 LLM에 최적화된 방법일 수 있으며, 다른 LLM에 대한 일반화 성능은 추가 연구가 필요합니다.
