Chatbot Arena est une plateforme d'évaluation de modèles linguistiques à grande échelle (LLM) permettant aux utilisateurs de voter pour leur réponse préférée entre deux modèles anonymes. Cet article démontre que le vote participatif peut être manipulé pour améliorer ou diminuer artificiellement le classement d'un modèle spécifique. Nous présentons tout d'abord une stratégie de manipulation simple qui se concentre uniquement sur le vote pour un modèle spécifique et soulignons son inefficacité. Pour y remédier, nous proposons une stratégie de manipulation complète qui exploite le mécanisme de notation Elo de Chatbot Arena pour manipuler les votes lors de matchs non directement liés à un modèle spécifique, influençant ainsi son classement. Des expériences utilisant 1,7 million de données de vote existantes démontrent que cette stratégie de manipulation complète peut améliorer le classement des modèles avec seulement quelques centaines de nouveaux votes. Tout en évaluant plusieurs mécanismes de défense, nous soulignons l'importance de prévenir la manipulation des votes.
