본 논문은 기존 언어 모델 평가 벤치마크의 한계점(인간 또는 기계 주석의 가치 편향, 현실과의 괴리)을 지적하고, 실제 사용자-LLM 상호작용을 반영하고 심리측정학적으로 검증된 새로운 벤치마크인 "Value Portrait"를 제안합니다. Value Portrait는 인간 참여자의 가치관과의 상관관계를 분석하여 특정 가치와 강하게 연관된 항목들을 선별하여 LLM의 가치 지향성을 평가합니다. 44개의 LLM을 평가한 결과, 이 모델들은 이타심, 안전, 자기결정 가치를 우선시하고, 전통, 권력, 성취 가치는 덜 중요하게 여기는 경향을 보였으며, 다양한 인구 집단에 대한 인식에서도 인간 데이터와의 차이를 보이는 편향성을 발견했습니다.
