본 논문은 20개의 대규모 언어 모델의 도덕적 정렬을 평가하기 위해 두 가지 채점 방법(로그 확률 및 직접 평가)과 모델-심판 동료 평가를 사용하는 투명한 chain-of-thought (CoT) 프레임워크인 EvalMORAAL을 제시합니다. World Values Survey (55개 국가, 19개 주제) 및 PEW Global Attitudes Survey (39개 국가, 8개 주제)를 기반으로 모델을 평가했습니다. EvalMORAAL을 통해 상위 모델은 설문 조사 응답과 밀접하게 일치하며, 서구 지역은 높은 상관 관계를 보였지만 비서구 지역은 일관된 지역적 편향을 보였습니다. 이 프레임워크는 공정한 비교를 위한 두 가지 채점 방법, 자기 일관성 검사가 포함된 구조화된 chain-of-thought 프로토콜, 데이터 기반 임계값을 사용하여 348개의 충돌을 감지하는 모델-심판 동료 검토를 포함합니다.
