EigenBench est une nouvelle méthodologie d'analyse comparative permettant de résoudre le problème d'alignement des valeurs en IA. Pour pallier le manque de mesures quantitatives existantes, elle propose une approche boîte noire qui évalue comparativement le niveau d'alignement des valeurs entre différents modèles de langage. Elle prend en entrée un ensemble de modèles, une constitution décrivant le système de valeurs et un jeu de données de scénarios, et génère un score vectoriel quantifiant l'alignement de chaque modèle avec la constitution donnée. Chaque modèle évalue les résultats des autres modèles selon différents scénarios, et l'algorithme EigenTrust agrège ces évaluations pour produire un score reflétant le jugement moyen pondéré de l'ensemble. Elle est conçue pour quantifier des caractéristiques susceptibles de varier, même entre juges rationnels, sans s'appuyer sur des étiquettes de bonnes réponses. Des expériences utilisant des personas d'invite pour tester la sensibilité des scores EigenBench aux modèles ou aux invites ont révélé que si la majeure partie de la variance s'explique par les invites, de faibles résidus quantifient les biais inhérents aux modèles eux-mêmes.
