Chatbot Arena는 사용자가 두 개의 익명 모델의 응답 중 선호하는 응답을 투표하는 방식으로 대규모 언어 모델(LLM)을 평가하는 플랫폼입니다. 본 논문은 크라우드소싱 투표를 조작하여 특정 모델의 순위를 인위적으로 높이거나 낮출 수 있음을 보여줍니다. 먼저, 특정 모델에만 집중하여 투표하는 단순한 조작 전략을 소개하고, 이 전략의 비효율성을 지적합니다. 이를 극복하기 위해, Chatbot Arena의 Elo 평점 메커니즘을 이용하여 특정 모델과 직접적으로 관련되지 않은 대결에도 투표를 조작하여 순위에 영향을 미치는 전방위적 조작 전략을 제안합니다. 170만 건의 기존 투표 데이터를 사용한 실험을 통해, 수백 건의 새로운 투표만으로도 전방위적 조작 전략이 모델 순위를 개선할 수 있음을 보여줍니다. 몇 가지 방어 메커니즘을 평가했지만, 투표 조작 방지 노력의 중요성을 강조합니다.
