본 논문은 대규모 언어 모델(LLM) 기반의 대화형 챗봇을 통해 의료 정보를 얻고자 하는 사람들이 증가하는 추세 속에서, 이러한 대화의 특성과 내재된 위험을 탐구한 연구입니다. 연구진은 대규모 대화형 AI 데이터셋을 필터링하여 25,000개의 사용자 메시지로 구성된 11,000개의 실제 세계 대화로 이루어진 HealthChat-11K라는 정제된 데이터셋을 구축했습니다. 이 데이터셋과 임상의가 주도한 사용자와 LLM의 상호작용 분류 체계를 사용하여 21개의 서로 다른 의료 전문 분야에 걸쳐 사용자 상호작용을 체계적으로 연구했습니다. 분석 결과, 사용자가 의료 정보를 찾는 방법과 이유에 대한 통찰력(흔한 상호작용, 불완전한 맥락의 사례, 정서적 행동, 아첨을 유도할 수 있는 상호작용(예: 유도 질문) 등)을 밝혀냈으며, 이는 대화형 AI로 배포되는 LLM의 의료 지원 기능 개선의 필요성을 강조합니다. 코드와 분석 결과 및 정제된 데이터셋을 결합하는 방법에 대한 자료는 GitHub에서 확인할 수 있습니다.
