EvalMORAAL 是一个透明的思路链 (CoT) 框架，它使用两种评分方法（对数概率和直接评分）以及模型评判同行评审来评估 20 个大型语言模型的道德一致性。该框架根据世界价值观调查（55 个国家/地区，19 个主题）和 PEW 全球态度调查（39 个国家/地区，8 个主题）对模型进行评估。使用 EvalMORAAL，排名靠前的模型与调查结果紧密相关（WVS 上的 Pearson's r 约为 0.90），区域差异显示出一致的区域偏见，西方地区的平均 r 为 0.82，非西方地区的平均 r 为 0.61。该框架结合了两种评分方法进行公平比较、带有自洽性检查的结构化思路链协议以及使用数据驱动阈值的模型评判同行评审来识别 348 个冲突。同行共识与调查一致性相关并支持自动质量检查。
