본 논문은 대규모 AI 모델이 "도덕적" 판단을 내리는 것에 대한 윤리적, 사회적 함의를 탐구하는 최근 연구들을 검토한다. 기존 연구는 주로 다양한 사고 실험을 통한 인간 판단과의 정렬 또는 AI 판단의 집단 공정성에 초점을 맞추고 있지만, 본 논문은 AI의 가장 즉각적이고 가능성 높은 활용 분야인 희소 사회 자원 배분 또는 혜택 승인을 결정하는 일선 공무원을 돕거나 대체하는 데 초점을 맞춘다. 논문에서는 희소 자원 배분에 있어 사회가 우선순위 결정 메커니즘을 어떻게 결정하는지에 대한 풍부한 역사적 배경을 고려하여, 실제 무주택자 서비스 필요 데이터를 사용하여 LLM 판단이 인간 판단 및 현재 사용 중인 취약성 점수 시스템과 얼마나 잘 일치하는지 조사한다. (데이터 기밀 유지를 위해 지역 대규모 모델만 사용). 분석 결과, LLM 우선순위 결정은 여러 측면에서 (다른 실행 간, 다른 LLM 간, LLM과 취약성 점수 시스템 간) 매우 불일치함을 보여준다. 동시에, LLM은 쌍방 비교 검사에서 일반적인 인간 판단과 질적으로 일치하는 것을 보여준다. 이러한 결과는 현재 세대 AI 시스템이 고위험 사회적 의사 결정에 단순히 통합될 준비가 되어 있지 않다는 점을 시사한다.
