Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

From Reddit to Generative AI: Evaluating Large Language Models for Anxiety Support Fine-tuned on Social Media Data

Created by
  • Haebom

저자

Ugur Kursuncu, Trilok Padhi, Gaurav Sinha, Abdulkadir Erol, Jaya Krishna Mandivarapu, Christopher R. Larrison

개요

대규모 언어 모델(LLM)을 활용한 확장 가능하고 실시간 정신 건강 지원에 대한 관심이 증가하고 있지만, 불안 지원과 같은 민감한 분야에서의 활용은 아직 충분히 연구되지 않았다. 본 연구는 r/Anxiety subreddit의 실제 사용자 게시물을 프롬프트 및 미세 조정에 사용하여 LLM(GPT 및 Llama)의 불안 지원 잠재력에 대한 체계적인 평가를 제시한다. 언어적 품질, 안전성 및 신뢰성, 지원성의 세 가지 주요 기준을 포함하는 혼합 방법론적 평가 프레임워크를 사용하였다. 자연스러운 불안 관련 데이터로 LLM을 미세 조정하면 언어적 품질은 향상되었지만 독성과 편향이 증가하고 정서적 반응성은 감소했다. LLM은 공감 능력이 제한적이었지만, GPT가 전반적으로 더 지원적인 것으로 평가되었다. 미완화 전략 없이 가공되지 않은 소셜 미디어 콘텐츠로 LLM을 미세 조정하는 위험성을 강조한다.

시사점, 한계점

시사점: LLM이 불안 지원에 활용될 수 있는 잠재력을 보여주었으나, 미세 조정 전략의 중요성을 강조. 특히, 가공되지 않은 소셜 미디어 데이터를 사용할 경우 독성 및 편향 증가 가능성 제시. GPT가 Llama보다 더 지원적인 응답을 생성하는 경향을 확인.
한계점: 제한된 LLM 모델(GPT, Llama)만 사용. 미세 조정 데이터의 규모 및 다양성 제한. 공감 능력 평가의 어려움. 장기간 사용 시 효과 및 안전성에 대한 추가 연구 필요. 실제 임상 환경에서의 적용 가능성에 대한 추가 검증 필요.
👍