본 논문은 고위험 상황에서 상충하는 가치를 다루는 어려움을 다루며, 특히 대규모 언어 모델(LLM)의 추론 능력 평가에 초점을 맞춥니다. 기존 연구가 일상적인 시나리오에 국한된 것과 달리, 본 연구는 고위험도 딜레마 345개와 다양한 가치관을 가진 3,795개의 개별 관점으로 구성된 CLASH(Character perspective-based LLM Assessments in Situations with High-stakes) 데이터셋을 소개합니다. CLASH는 가치 기반 의사결정 과정의 중요한 측면(의사결정의 모호함, 심리적 불편함, 가치관의 시간적 변화)을 연구할 수 있도록 설계되었습니다. 10개의 최첨단 모델을 벤치마킹한 결과, (1) GPT-4o 및 Claude-Sonnet과 같은 최고 성능 모델조차도 모호한 결정 상황을 식별하는 정확도가 50% 미만이었고 명확한 시나리오에서는 성능이 훨씬 더 좋았습니다. (2) LLM은 인간이 표시한 심리적 불편함을 합리적으로 예측하지만, 가치 변화를 포함하는 관점을 제대로 이해하지 못하여 복잡한 가치에 대한 추론 능력이 부족함을 보여줍니다. (3) LLM의 가치 선호도와 특정 가치에 대한 조종 가능성 간에 상관관계가 있음을 밝혔습니다. (4) LLM은 1인칭 관점보다 3인칭 관점에서 가치 추론에 참여할 때 조종 가능성이 더 높았지만, 특정 가치 쌍은 1인칭 프레임에서만 유일하게 이점을 얻었습니다.
