[공지사항]을 빙자한 안부와 근황 
Show more

Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Bias in Decision-Making for AI's Ethical Dilemmas: A Comparative Study of ChatGPT and Claude

Created by
  • Haebom

저자

Yile Yan, Yuqi Zhu, Wentao Xu

개요

본 연구는 대규모 언어 모델(LLM)의 윤리적 의사결정 능력과 잠재적 편향성을 조사하기 위해 GPT-3.5 Turbo와 Claude 3.5 Sonnet 두 모델을 사용하여 윤리적 딜레마에 대한 응답을 체계적으로 평가했습니다. 나이, 성별, 인종, 외모, 장애 상태 등 여러 보호 속성을 포함한 11,200건의 실험을 통해 모델의 윤리적 선호도, 민감도, 안정성 및 선호도의 클러스터링을 분석했습니다. 그 결과 두 모델 모두에서 특정 속성(예: "잘생긴")에 대한 일관된 선호도와 다른 속성에 대한 체계적인 무시가 드러났습니다. GPT-3.5 Turbo는 기존 권력 구조와 일치하는 강한 선호도를 보인 반면, Claude 3.5 Sonnet은 더 다양한 보호 속성 선택을 보였습니다. 또한, 여러 보호 속성이 포함된 더 복잡한 시나리오에서는 윤리적 민감도가 크게 감소하는 것으로 나타났습니다. 언어적 참조는 모델의 윤리적 평가에 큰 영향을 미치며, 인종적 기술어("Yellow" 대 "Asian")에 대한 다른 반응에서 알 수 있듯이, 모델의 윤리적 판단에 영향을 미친다는 것을 확인했습니다. 본 연구는 자율적 의사결정 시스템에서 LLM 편향의 잠재적 영향에 대한 중요한 우려를 강조하고 AI 개발에서 보호 속성을 신중하게 고려해야 할 필요성을 강조합니다.

시사점, 한계점

시사점:
LLM의 윤리적 의사결정에 대한 체계적인 평가 프레임워크 제공.
GPT-3.5 Turbo와 Claude 3.5 Sonnet에서 보호 속성에 대한 편향 존재 확인.
복잡한 시나리오에서 윤리적 민감도 감소 현상 발견.
언어적 표현이 LLM의 윤리적 판단에 미치는 영향 확인.
AI 개발 시 보호 속성 고려의 중요성 강조.
한계점:
연구에 사용된 모델의 제한된 수.
실험 설계의 복잡성으로 인한 해석의 어려움.
다양한 언어 및 문화적 맥락에 대한 고려 부족.
장기적인 윤리적 영향에 대한 평가 부족.
👍