GEO-Bench: Benchmarking Ranking Manipulation in Generative Engine Optimization
Author
- Haebom
Category
Empty
저자
Ojas Nimase, Zhe Chen, Gengpei Qi, Yue Zhao, Xiyang Hu
💡 개요
본 논문은 대규모 언어 모델(LLM)의 순위 조작 문제에 대한 해결책을 제시합니다. 이를 위해 다양한 생성 엔진 최적화(GEO) 공격 방법론을 하나의 표준화된 프로토콜 하에 평가하는 벤치마크인 GEO-Bench를 제안합니다. GEO-Bench는 공격의 효과성과 은밀성을 측정하며, 블랙박스 및 화이트박스 공격, 그리고 C-SEO 전략을 비교 평가하여 이들 간의 상대적인 강점과 탐지 가능성을 명확히 합니다.
🔑 시사점 및 한계
•
블랙박스 콘텐츠 재작성 공격이 화이트박스 경사 기반 공격과 동등하거나 우수한 성능을 보이면서도 더 자연스러운 텍스트를 생성하며, 일부 도메인에서는 탐지를 회피할 수 있습니다.
•
공격 방법론의 효과성과 은밀성 사이에는 상충 관계가 존재하며, 모델 접근 방식(블랙박스 vs 화이트박스)이 공격 강도를 예측하지 못합니다.
•
GEO-Bench는 다양한 공격 방법론의 직접적인 비교를 가능하게 하고 탐지 방법 개발을 지원하지만, 향후 더 다양한 LLM 모델과 데이터셋에 대한 포괄적인 평가가 필요합니다.
