본 연구는 대규모 언어 모델(LLM) 기반 대화형 에이전트가 중국계 미국인 가족 간병인에게 제공하는 치료적 응답의 문화적 민감성을 개선하기 위한 문화적 프롬프팅의 효과를 평가했다. GPT-4o와 Deepseek-V3를 대상으로 무작위 대조 실험을 진행하여 문화적 프롬프팅의 유무에 따른 응답을 비교했다. 36명의 참가자가 문화적 민감성(능력 및 관련성)과 공감성에 대해 응답 쌍을 평가했다. 그 결과, 문화적 프롬프팅은 GPT-4o의 성능을 모든 측면에서 유의미하게 향상시켰고, GPT-4o with cultural prompting이 가장 선호되었다. 반면, DeepSeek-V3에서는 유의미한 개선이 없었다. 중재 분석을 통해 문화적 프롬프팅이 문화적 민감성 향상을 통해 공감성을 개선한다는 것을 확인했다.
시사점, 한계점
•
시사점:
◦
프롬프트 기반 기술을 통해 LLM의 문화적 민감성을 효과적으로 향상시킬 수 있음을 입증했다.
◦
문화적 프롬프팅은 LLM 기반 치료 개입의 공감성을 높이는 데 기여할 수 있다.
◦
GPT-4o가 문화적 프롬프팅에 특히 긍정적인 반응을 보였다.
•
한계점:
◦
DeepSeek-V3에 대한 문화적 프롬프팅의 효과가 제한적이었다.
◦
연구 대상이 중국계 미국인 가족 간병인으로 제한되어 다른 문화적 배경에 대한 일반화가 필요하다.
