본 논문은 대규모 언어 모델(LLM)의 가치 정렬을 평가하는 새로운 벤치마크인 Value Compass Leaderboard를 제안합니다. 기존 평가의 한계점인 가치 명확화 부족, 평가 유효성 저하, 가치 다원주의 무시를 해결하기 위해, Value Compass Leaderboard는 세 가지 모듈로 구성됩니다. 첫째, 동기적으로 구분되는 기본 가치를 기반으로 LLM의 근본 가치를 포괄적으로 명확히 합니다. 둘째, 적응형 평가 항목을 사용하는 생성적 진화 평가 프레임워크를 통해 진화하는 LLM을 평가하고 실제 시나리오에서 행동으로부터 직접 가치를 인식합니다. 셋째, 다원적 가치에 따라 가중치를 부여하여 특정 가치에 대한 LLM의 정렬 정도를 정량화하는 지표를 제시합니다.
