본 논문은 대규모 언어 모델(LLM) 기반의 대화형 챗봇을 통해 의료 정보를 얻고자 하는 사람들이 증가하는 추세 속에서, 이러한 대화의 본질과 내재된 위험성을 탐구한 연구입니다. 연구진은 대규모 대화형 AI 데이터셋을 필터링하여 25,000개의 사용자 메시지로 구성된 11,000개의 실제 대화로 이루어진 HealthChat-11K라는 정제된 데이터셋을 구축했습니다. HealthChat-11K와 임상의 중심의 분류 체계를 사용하여 21개의 서로 다른 의료 전문 분야에서 사용자의 LLM 상호 작용을 체계적으로 연구했습니다. 분석 결과, 사용자가 의료 정보를 얻고자 하는 방식과 이유, 흔한 상호 작용, 불완전한 맥락의 사례, 정서적 행동, 아첨을 유도할 수 있는 상호 작용(예: 유도 질문) 등에 대한 통찰력을 얻었습니다. 이는 대화형 AI로 배포되는 LLM의 의료 지원 기능 개선의 필요성을 강조합니다. 관련 코드와 분석 결과, 정제된 데이터셋은 깃허브(https://github.com/yahskapar/HealthChat)에서 확인할 수 있습니다.
시사점, 한계점
•
시사점:
◦
LLM 기반 의료 챗봇 사용 실태를 보여주는 실제 대화 데이터셋 HealthChat-11K를 구축.
◦
사용자의 의료 정보 탐색 방식, 의료 전문 분야별 상호작용 특징 분석.
◦
LLM 기반 의료 챗봇의 개선 방향 제시 (불완전한 맥락 처리, 정서적 행동 고려, 아첨 유도 방지 등).
