본 논문은 대규모 언어 모델(LLM)의 하드웨어 기반 위협, 특히 비트 플립 공격(BFA)에 대한 취약성을 다룹니다. 기존 연구에서는 트랜스포머 기반 아키텍처가 BFA에 더 강하다고 주장했지만, 본 논문은 극소수의 비트 플립만으로도 LLM의 성능이 심각하게 저하될 수 있음을 보여줍니다. 이를 위해, LLM의 매개변수 공간을 효율적으로 탐색하여 중요 매개변수를 식별하는 새로운 프레임워크인 AttentionBreaker를 제안합니다. 또한, 가장 중요한 비트를 찾아 공격 효율을 높이는 진화적 최적화 전략인 GenBFA를 제시합니다. 실험 결과, 소수의 비트 플립으로도 LLM의 성능이 급격히 저하되는 것을 확인했습니다. 예를 들어, LLaMA3-8B-Instruct 모델에서 3개의 비트 플립만으로도 MMLU 작업의 정확도가 67.3%에서 0%로 떨어지고, Wikitext의 perplexity가 12.6에서 4.72 x 10^5로 급증했습니다. 이는 AttentionBreaker의 효율성과 LLM 아키텍처의 취약성을 강조합니다.
