본 연구는 일본어 치료 환경에서 세 가지 상담 역할에 걸쳐 대규모 언어 모델(LLM)의 성능을 종합적으로 평가한 최초의 연구입니다. 상담사 AI 시스템(제로샷 프롬프팅 또는 구조화된 다단계 대화 프롬프트(SMDP)를 사용한 GPT-4-turbo, Claude-3-Opus-SMDP), 클라이언트 AI 시뮬레이션, 그리고 평가 AI 시스템(o3, Claude-3.7-Sonnet, Gemini-2.5-pro)을 동시에 평가했습니다. 상담 경험이 풍부한 인간 전문가(n=15)는 동기적 면담 치료 무결성(MITI) 코딩 매뉴얼 4.2.1을 사용하여 AI가 생성한 대화를 평가했습니다. SMDP 구현은 제로샷 프롬프팅과 비교하여 모든 MITI 전반적 평가에서 상담사 AI의 성능을 크게 향상시켰으며, GPT-SMDP와 Opus-SMDP 간에는 유의미한 차이가 없었습니다. 평가 AI는 변화 대화 촉진에 있어 인간 평가자와 비슷한 성능을 보였지만, 유지 대화 완화 및 전반적인 품질 지표를 체계적으로 과대평가했습니다. Gemini는 권력 공유를, o3는 기술적 능숙함을, Sonnet은 감정 표현을 우선시하는 등 모델별 편향이 나타났습니다. 클라이언트 AI 시뮬레이션은 감정 범위가 제한적이고 비정상적으로 높은 순응도를 보여 현실감 향상의 필요성을 시사했습니다. 이러한 결과는 비영어권 AI 지원 상담에 대한 벤치마크를 설정하고, 고급 프롬프트 엔지니어링, 검색 증강 생성, 그리고 목표 지향적 미세 조정을 통해 개선해야 할 중요한 영역을 제시하며, 문화적으로 민감한 AI 정신 건강 도구 개발에 중요한 의미를 갖습니다.
