본 논문은 대규모 언어 모델(LLM)의 가치 정렬 평가에 있어 기존 연구의 한계를 지적하며, '가치-행동 괴리' 현상을 고려한 새로운 평가 프레임워크인 ValueActionLens를 제시합니다. ValueActionLens는 12개 문화권과 11개 사회적 주제에 걸쳐 14,800개의 가치 기반 행동 데이터셋을 활용하여 LLM의 진술된 가치와 가치 기반 행동 간의 정렬 수준을 세 가지 측정 방식으로 평가합니다. 실험 결과, LLM의 진술된 가치와 행동 간의 정렬은 최적이 아니며 상황과 모델에 따라 크게 달라짐을 보여줍니다. 또한, 가치-행동 괴리로 인한 잠재적 피해를 확인하고, 이러한 괴리를 예측하는 데 추론적 설명을 활용하는 것이 효과적임을 밝힙니다. 결론적으로, LLM의 행동 예측에 진술된 가치만을 의존하는 위험성을 강조하고, 맥락을 고려한 LLM 가치 및 가치-행동 괴리 평가의 중요성을 제시합니다.
