Psychological Counseling Ability of Large Language Models
Created by
- Haebom
Category
Empty
저자
Fangyu Peng, Jingxin Nie
개요
본 논문은 중국 국가 상담사 3급 시험 문제 1096개를 사용하여 주요 대규모 언어 모델(LLM)의 심리 상담 능력을 평가한 연구입니다. GLM-3, GPT-4, Gemini, ERNIE-3.5, GPT-3.5 다섯 가지 LLM을 대상으로 중국어와 영어 질문에 대한 정답률을 분석하였습니다. 분석 결과, 중국어 질문에서는 GLM-3(46.5%)이 가장 높은 정답률을 보였고, 영어 질문에서는 ERNIE-3.5(43.9%)가 가장 높은 정답률을 보였습니다. 또한, ERNIE-3.5에 상담사 안내서(3급)를 참고 자료로 제공하여 정답률을 13.8% 향상시키는 결과를 얻었습니다. 이 연구는 LLM의 심리 상담 능력에 대한 최초의 평가이며, 향후 LLM의 심리 상담 능력 향상을 위한 통찰력을 제공할 수 있습니다.
시사점, 한계점
•
시사점:
◦
LLM의 심리 상담 능력에 대한 최초의 체계적인 평가를 제공합니다.
◦
LLM의 언어 및 질문 유형에 따른 성능 차이를 보여줍니다. (중국어 vs 영어, 지식 기반 vs 분석 기반 vs 응용 기반)
◦
추가적인 지식 및 정보 제공을 통한 LLM 성능 향상 가능성을 제시합니다. (ERNIE-3.5의 정답률 향상)
•
한계점:
◦
중국 국가 상담사 3급 시험 문제만을 사용하여 평가의 일반화 가능성에 제한이 있습니다.
◦
실제 상담 상황을 완벽하게 반영하지 못할 수 있습니다.
◦
평가에 사용된 LLM의 종류가 제한적입니다.
◦
LLM의 응답의 질적 평가가 아닌 정답률에 기반한 정량적 평가만 수행되었습니다.
