Stepwise Reasoning Error Disruption Attack of LLMs
Created by
Haebom
저자
Jingyu Peng, Maolin Wang, Xiangyu Zhao, Kai Zhang, Wanyu Wang, Pengyue Jia, Qidong Liu, Ruocheng Guo, Qi Liu
개요
본 논문은 대규모 언어 모델(LLM)의 추론 과정에서 안전성과 견고성에 대한 취약성을 다룹니다. 기존의 LLM 추론 공격 기법들은 특정 설정에 제한되거나 은밀성이 부족하여 실현 가능성과 일반화에 한계가 있습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 이전 추론 단계에 미묘한 오류를 주입하여 모델이 잘못된 후속 추론 및 최종 답변을 생성하도록 유도하는 단계적 추론 오류 방해(SEED) 공격을 제안합니다. SEED는 제로샷 및 퓨샷 설정과 호환되며, 자연스러운 추론 흐름을 유지하고, 지시사항을 변경하지 않고 은밀하게 실행됩니다. 네 가지 모델에 걸쳐 네 가지 데이터셋에서의 광범위한 실험을 통해 SEED의 효과를 보여주고, 추론 과정의 방해에 대한 LLM의 취약성을 드러냅니다. 이러한 결과는 실제 응용 프로그램에서 안전성을 보장하기 위해 LLM 추론의 견고성에 대한 더 많은 관심이 필요함을 강조합니다. 소스 코드는 https://github.com/Applied-Machine-Learning-Lab/SEED-Attack 에서 이용 가능합니다.
시사점: LLM의 추론 과정에 대한 미묘한 오류 주입을 통해 추론 결과를 조작할 수 있음을 보여줌으로써, LLM의 안전성 및 견고성에 대한 우려를 제기합니다. SEED 공격의 효과성을 다양한 모델과 데이터셋에서 검증하여 LLM의 취약성에 대한 폭넓은 이해를 제공합니다. 실제 응용 프로그램에서 LLM의 안전성 확보를 위한 추가적인 연구의 필요성을 강조합니다.
•
한계점: SEED 공격의 효과는 특정 모델과 데이터셋에 따라 다를 수 있으며, 모든 LLM에 대해 일반화될 수 있는지에 대한 추가적인 연구가 필요합니다. SEED 공격에 대한 방어 기법 개발에 대한 연구가 필요합니다. 현재 공개된 코드의 한계점이나 향후 개선 방향에 대한 언급이 부족합니다.
