Building Trust in Mental Health Chatbots: Safety Metrics and LLM-Based Evaluation Tools
Created by
- Haebom
Category
Empty
저자
Jung In Park, Mahyar Abbasian, Iman Azimi, Dawn T. Bounds, Angela Jun, Jaesu Han, Robert M. McCarron, Jessica Borelli, Parmida Safavi, Sanaz Mirbaha, Jia Li, Mona Mahmoudi, Carmen Wiedenhoeft, Amir M. Rahmani
개요
본 연구는 접근성, 인간과 유사한 상호작용, 상황 인식 지원 등으로 인해 점점 인기를 얻고 있는 정신 건강 챗봇의 안전성과 신뢰성을 보장하기 위한 평가 프레임워크를 개발하고 검증하는 것을 목표로 한다. 연구진은 100개의 벤치마크 질문과 이상적인 답변, 그리고 챗봇 응답을 위한 5가지 가이드라인 질문으로 구성된 평가 프레임워크를 만들었다. 정신 건강 전문가에 의해 검증된 이 프레임워크는 GPT-3.5-turbo 기반 챗봇에 대해 테스트되었다. 자동화된 평가 방법으로는 대규모 언어 모델(LLM) 기반 점수 매기기, 실시간 데이터를 사용하는 에이전트 접근 방식, 그리고 챗봇 응답과 기준 진실을 비교하기 위한 임베딩 모델이 포함되었다. 결과는 LLM 평가 정확도를 높이기 위한 가이드라인과 기준 진실의 중요성을 강조한다. 실시간으로 신뢰할 수 있는 정보에 접근하는 에이전트 방식이 인간 평가와 가장 잘 일치하는 것으로 나타났다. 표준화되고 전문가가 검증한 프레임워크를 준수함으로써 챗봇 응답의 안전성과 신뢰성이 크게 향상되었다. 본 연구는 정신 건강 챗봇을 위한 포괄적이고 전문가 맞춤형 안전 평가 지표의 필요성을 강조한다. LLM은 상당한 잠재력을 가지고 있지만, 위험을 완화하기 위해 신중한 구현이 필요하다. 에이전트 접근 방식의 우수한 성능은 챗봇 신뢰성 향상에 있어 실시간 데이터 접근의 중요성을 강조한다. 본 연구는 정신 건강 챗봇을 위한 평가 프레임워크의 유효성을 검증하여 안전성과 신뢰성 향상에 효과적임을 입증하였다. 향후 연구는 정확성, 편향성, 공감, 개인 정보 보호에 대한 평가를 확장하여 전체적인 평가와 의료 서비스에의 책임감 있는 통합을 보장해야 한다. 표준화된 평가는 사용자와 전문가 간의 신뢰를 구축하여 기술을 통한 정신 건강 지원의 광범위한 채택과 개선을 촉진할 것이다.
시사점, 한계점
•
시사점:
◦
정신 건강 챗봇의 안전성과 신뢰성 평가를 위한 효과적인 프레임워크 개발 및 검증.
◦
LLM 평가 정확도 향상을 위한 가이드라인 및 기준 진실의 중요성 확인.
◦
실시간 데이터 접근을 통한 에이전트 방식의 우수한 성능 확인.
◦
표준화된 평가 프레임워크를 통한 챗봇 응답 안전성 및 신뢰성 향상.
◦
정신 건강 챗봇의 책임감 있는 통합을 위한 포괄적이고 전문가 맞춤형 안전 평가 지표의 필요성 강조.
•
한계점:
◦
평가 범위가 정확성, 편향성, 공감, 개인 정보 보호 등으로 확장될 필요가 있음.
◦
다양한 유형의 챗봇 및 LLM에 대한 일반화 가능성 검증 필요.
◦
실제 임상 환경에서의 프레임워크 적용 및 효과성 검증 필요.
