Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Communication Styles and Reader Preferences of LLM and Human Experts in Explaining Health Information

Created by
  • Haebom

저자

Jiawei Zhou, Kritika Venkatachalam, Minje Choi, Koustuv Saha, Munmun De Choudhury

개요

본 논문은 대규모 언어 모델(LLM)이 건강 정보 검증에 활용될 때, 인간의 의사소통 방식 및 가치와의 부합성을 검토합니다. LLM과 인간 전문가 간의 스타일 차이와 독자 인식에 대한 미탐구 영역을 중심으로, 건강 정보 전달의 세 가지 핵심 요소(정보, 발신자, 수신자)에 초점을 맞춰 LLM의 의사소통 방식을 평가합니다. 1498개의 건강 정보 오류 설명 데이터셋을 활용하여 LLM의 응답을 생성하고, 정보의 언어적 특징, 발신자의 설득 전략, 수신자의 가치 정합성이라는 세 가지 차원에서 의사소통 스타일을 평가했습니다. 99명의 참가자를 대상으로 한 맹검 평가를 통해 인간의 인식을 추가적으로 평가했습니다. 결과적으로 LLM은 설득 전략, 확실성 표현, 사회적 가치 및 도덕적 기반과의 정합성 측면에서 낮은 점수를 받았지만, 인간 평가에서는 명확성, 완전성, 설득력 측면에서 LLM 콘텐츠에 대한 선호도가 60% 이상으로 나타났습니다. 이는 LLM의 구조적인 정보 제시 방식이 기존의 검증 및 건강 정보 전달 품질 측정에서는 낮은 점수를 받았음에도 불구하고 독자 참여에는 더 효과적일 수 있음을 시사합니다.

시사점, 한계점

시사점:
LLM 기반 건강 정보 검증 시스템 개발 가능성 제시.
LLM의 구조적 정보 제시 방식이 독자 참여도 향상에 기여할 수 있음을 확인.
기존 건강 정보 전달 평가 방식의 한계를 보여줌.
한계점:
연구 대상 데이터셋의 제한 (특정 fact-checking 기관 데이터에 한정).
인간 평가의 주관성 가능성.
LLM의 장기적 효과 및 신뢰도에 대한 추가 연구 필요.
다양한 건강 정보 유형 및 대상 집단에 대한 일반화의 어려움.
👍