EigenBench es una novedosa metodología de evaluación comparativa para resolver el problema de alineación de valores en IA. Para abordar la falta de métricas cuantitativas existentes, propone un enfoque de caja negra que evalúa comparativamente el nivel de alineación de valores entre varios modelos de lenguaje. Toma como entrada un conjunto de modelos, una constitución que describe el sistema de valores y un conjunto de datos de escenarios, y genera una puntuación vectorial que cuantifica la alineación de cada modelo con la constitución dada. Cada modelo evalúa las salidas de otros modelos en diversos escenarios, y el algoritmo EigenTrust agrega estas evaluaciones para generar una puntuación que refleja el juicio promedio ponderado de todo el conjunto. Está diseñado para cuantificar características que pueden variar incluso entre jueces racionales, sin depender de etiquetas de respuesta correcta. Experimentos con personajes de indicaciones para evaluar la sensibilidad de las puntuaciones de EigenBench a los modelos o indicaciones revelaron que, si bien la mayor parte de la varianza se explica por las indicaciones, pequeños residuos cuantifican los sesgos inherentes de los propios modelos.
