Cet article souligne les limites des méthodes existantes pour garantir la fiabilité des évaluateurs d'étiquetage, qui s'appuient sur des données de référence. Il propose un nouvel algorithme, l'« algorithme sans données », qui garantit la fiabilité des évaluateurs sans données de référence. Cet algorithme soumet les évaluateurs à une série de tâches : il accepte les évaluateurs fiables qui savent réellement étiqueter, et identifie les évaluateurs peu fiables qui ne le savent pas. Les auteurs présentent une preuve formelle de précision, des tests expérimentaux et un exemple d'application d'un évaluateur basé sur LLM pour un langage à faibles ressources.
