Cet article analyse systématiquement l'impact des biais inhérents dans une extension multi-agents de l'approche LLM-as-Judge (argumentation multi-agents et méta-évaluation) utilisant des modèles de langage à grande échelle (LLM) comme évaluateurs. En évaluant quatre types de biais (biais de position, biais de détail, biais de processus de pensée et biais de consensus) dans les cadres d'argumentation multi-agents et LLM-as-Meta-Judge, nous constatons que le cadre d'argumentation amplifie et maintient significativement les biais après l'argumentation initiale, tandis que l'approche de méta-évaluation est plus résistante aux biais. De plus, nous montrons que l'ajout d'un agent impartial utilisant PINE, une méthode de réduction des biais à agent unique, est efficace pour réduire les biais dans le cadre de l'argumentation, mais moins efficace dans le cadre de la méta-évaluation. En conclusion, cette étude analyse de manière exhaustive le comportement des biais dans le système LLM-as-Judge multi-agents et souligne la nécessité de stratégies ciblées d'atténuation des biais dans les contextes d'évaluation collaborative.
