Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

StealthRank: LLM Ranking Manipulation via Stealthy Prompt Optimization

Created by
  • Haebom

저자

Yiming Tang, Yi Fan, Chenxiao Yu, Tiankai Yang, Yue Zhao, Xiyang Hu

개요

대규모 언어 모델(LLM) 기반 정보 검색 시스템, 특히 제품 추천 시스템에 대한 새로운 적대적 공격 방식인 StealthRank를 제시합니다. StealthRank는 제품 설명에 삽입된 미묘하지만 효과적인 적대적 텍스트 시퀀스인 StealthRank 프롬프트(SRP)를 생성하여 LLM 순위 지정 메커니즘에 영향을 미칩니다. 에너지 기반 최적화 프레임워크와 Langevin dynamics를 결합하여 텍스트의 유창성을 유지하면서 탐지 가능한 이상 현상을 도입하지 않고 은밀하게 표적 제품의 순위를 높입니다. 다양한 LLM에서 StealthRank를 평가하여 기존의 적대적 순위 기준보다 효과와 은밀성 면에서 우수함을 보여주었습니다. 이는 LLM 기반 추천 시스템의 중요한 취약성을 강조합니다.

시사점, 한계점

시사점: LLM 기반 추천 시스템의 적대적 공격에 대한 취약성을 보여주고, 기존 방식보다 더 효과적이고 은밀한 StealthRank 공격 기법을 제시합니다. LLM의 안전성 및 신뢰성에 대한 심각한 문제점을 제기하며, 이러한 시스템의 보안 강화에 대한 필요성을 강조합니다.
한계점: 현재는 제품 설명 텍스트에 국한된 공격 기법이며, 다른 유형의 데이터나 LLM 적용 분야에 대한 일반화 가능성은 추가 연구가 필요합니다. 실제 상용 시스템에 대한 실험 결과가 제시되지 않았으므로, 실제 환경에서의 효과 및 탐지 가능성에 대한 추가 검증이 필요합니다. 또한, Langevin dynamics를 사용한 최적화 과정의 계산 비용 및 효율성에 대한 분석이 부족합니다.
👍