Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Towards Human-AI Deliberation: Design and Evaluation of LLM-Empowered Deliberative AI for AI-Assisted Decision-Making

Created by
  • Haebom
Category
Empty

저자

Shuai Ma, Qiaoyi Chen, Xinru Wang, Chengbo Zheng, Zhenhui Peng, Ming Yin, Xiaojuan Ma

개요

본 논문은 AI 지원 의사결정에서 인간이 AI의 제안을 수동적으로 검토하고 전적으로 수용 또는 거부하는 기존 방식의 문제점을 지적한다. 이러한 방식에서는 인간의 분석적 사고가 부족하고, 의견 충돌 시 AI와의 세부적인 의견 조율이 어렵다는 점을 밝히고 있다. 이를 해결하기 위해, 인간과 AI 간의 차원별 의견 수렴, 숙의적 논의, 의사결정 업데이트를 포함하는 새로운 틀인 '인간-AI 숙의(Human-AI Deliberation)' 프레임워크를 제안한다. 숙의 능력을 갖춘 AI인 '숙의적 AI(Deliberative AI)'는 대규모 언어 모델(LLM)을 활용하여 인간과 도메인 특정 모델 간의 유연한 대화 상호작용과 정확한 정보 제공을 가능하게 한다. 대학원 입학 심사 과제에 대한 탐색적 평가 결과, 숙의적 AI는 기존 설명 가능한 AI(XAI) 보조 시스템보다 인간의 적절한 의존도와 과제 수행 능력을 향상시키는 것으로 나타났다. 참가자 행동, 인식, 사용자 경험, 개방형 피드백에 대한 혼합방법 분석을 통해 향후 AI 지원 의사결정 도구 설계에 대한 시사점을 도출한다.

시사점, 한계점

시사점:
AI 지원 의사결정에서 인간의 수동적 역할을 넘어 능동적인 참여와 숙의를 가능하게 하는 새로운 프레임워크 제시.
숙의적 AI를 통해 인간과 AI 간의 효과적인 의견 조율 및 의사결정 개선 가능성 제시.
대규모 언어 모델(LLM)의 활용을 통한 유연하고 정확한 인간-AI 상호작용 구현.
기존 XAI보다 향상된 인간의 의사결정 및 과제 수행 능력 확인.
향후 AI 지원 의사결정 도구 설계에 대한 중요한 시사점 제공.
한계점:
탐색적 평가의 제한된 범위 (대학원 입학 심사 과제). 다양한 도메인으로의 일반화 가능성에 대한 추가 연구 필요.
숙의적 AI의 성능 및 효과에 대한 장기적인 평가 및 검증 필요.
숙의적 AI의 윤리적 측면 및 편향 문제에 대한 고려 필요.
대규모 언어 모델에 대한 의존성 및 그로 인한 비용 및 자원 제약 문제.
👍