본 논문은 고위험도 상황에서 상충하는 가치를 다루는 의사결정 능력을 평가하기 위한 새로운 데이터셋 CLASH를 제시합니다. CLASH는 345개의 고위험도 딜레마와 3,795개의 다양한 가치관을 가진 개인의 관점으로 구성되어 있으며, 기존 연구에서 다루지 못했던 가치 기반 의사결정 과정의 핵심 측면(결정의 모호함, 심리적 불편함, 가치관의 시간적 변화 등)을 연구할 수 있도록 설계되었습니다. 10개의 최첨단 언어 모델을 벤치마킹하여, 모델들이 명확한 상황에서는 높은 정확도를 보이지만, 모호한 상황에서는 50% 미만의 정확도를 보이는 등 가치관의 변화를 포함한 복잡한 가치에 대한 추론 능력이 부족함을 밝혔습니다. 또한, LLMs의 가치 선호도와 특정 가치로의 조종 가능성 간의 상관관계를 발견하고, 1인칭 관점보다 3인칭 관점에서의 가치 추론이 더 높은 조종 가능성을 보이는 것을 확인했습니다.
