DailyDilemmas: Revealing Value Preferences of LLMs with Quandaries of Daily Life
Created by
- Haebom
Category
Empty
저자
Yu Ying Chiu, Liwei Jiang, Yejin Choi
개요
본 논문은 일상생활에서 마주치는 1,360개의 도덕적 딜레마를 포함한 DailyDilemmas 데이터셋을 제시합니다. 각 딜레마는 두 가지 행동 방안과, 각 행동에 영향을 받는 당사자 및 관련된 인간 가치를 제시합니다. 이를 바탕으로 다양한 일상 주제(대인 관계, 직장, 환경 문제 등)를 아우르는 인간 가치 저장소를 구축하고, LLM들이 이러한 딜레마에서 어떤 행동을 선택하고, 그 행동 선택이 어떤 가치를 나타내는지 평가합니다. 세계 가치 조사, 도덕적 기반 이론, 매슬로우의 욕구 계층, 아리스토텔레스의 덕, 플루치크의 감정의 바퀴 등 5가지 이론적 틀을 사용하여 가치를 분석합니다. LLM의 가치 우선 순위가 모델 간에 상당한 차이를 보이며, OpenAI(ModelSpec)와 Anthropic(Constitutional AI)의 가이드라인이 실제 모델의 가치 우선 순위와 어떻게 일치하는지도 분석합니다. 마지막으로, 최종 사용자가 시스템 프롬프트를 사용하여 이러한 우선 순위를 효과적으로 조정할 수 없다는 점을 발견합니다.
시사점, 한계점
•
시사점:
◦
일상생활의 도덕적 딜레마를 다루는 새로운 데이터셋 DailyDilemmas 제공.
◦
LLM의 도덕적 판단 및 가치 우선 순위 분석을 위한 틀 제시.
◦
LLM 모델 간 가치 우선 순위의 상당한 차이 발견.
◦
OpenAI 및 Anthropic의 가이드라인과 LLM의 실제 가치 우선 순위 간의 불일치 확인.
◦
사용자 프롬프트를 통한 LLM의 가치 우선 순위 조정의 어려움 확인.
•
한계점:
◦
DailyDilemmas 데이터셋의 규모(1,360개)가 상대적으로 작을 수 있음.
◦
분석에 사용된 이론적 틀의 제한점.
◦
LLM의 가치 우선 순위를 결정하는 요인에 대한 추가 연구 필요.
◦
사용자 프롬프트를 통한 가치 우선 순위 조정에 대한 더욱 심도있는 연구 필요.
