Distributive Fairness in Large Language Models: Evaluating Alignment with Human Values
Created by
Haebom
Category
Empty
저자
Hadi Hosseini, Samarth Khanna
LLM 기반 의사결정의 공정성 및 인간 선호도에 대한 연구
개요
대규모 언어 모델(LLM)이 사회 및 경제적 맥락에서 의사 결정을 수행하는 데 대한 관심이 높아짐에 따라, LLM이 이러한 영역에서 에이전트 역할을 할 수 있는지에 대한 의문이 제기되었다. 본 논문에서는 LLM 응답이 형평성, 무시샘성, 롤스식 최대 최소 원칙과 같은 기본적인 공정성 개념을 준수하는지, 그리고 인간의 선호도와 일치하는지 조사한다. 여러 LLM의 성능을 평가하고, 이러한 척도를 반영하는 능력을 비교 분석한다.
시사점, 한계점
•
현재 LLM 응답은 인간의 분배 선호도와 일치하지 않는다.
•
LLM은 불평등 완화를 위해 돈을 이전 가능한 자원으로 활용할 수 없다.
•
(일부) LLM은 직접 생성하는 대신 미리 정의된 선택지에서 선택하는 경우 다른 양상을 보인다.
•
LLM 응답은 의미론적 요인(예: 의도 또는 페르소나) 또는 비 의미론적 프롬프트 변경(예: 템플릿 또는 순서)에 대한 견고성을 분석한다.
