본 연구는 대규모 언어 모델(LLM)을 활용하여 우울증과 외상 후 스트레스 장애(PTSD) 진단의 정확도를 높이는 것을 목표로 한다. 텍스트와 오디오 두 가지 모달리티를 사용하여 E-DAIC 데이터셋을 기반으로 Gemini 1.5 Pro와 GPT-4o mini 등의 LLM 성능을 평가했다. 특히, 모달리티 통합이 진단 정확도 향상에 미치는 영향을 Modal Superiority Score와 Disagreement Resolvement Score라는 새로운 지표를 사용하여 분석했다. 결과적으로, Gemini 1.5 Pro 모델은 텍스트와 오디오 모달리티를 결합했을 때 이진 우울증 분류에서 F1 점수 0.67, 균형 정확도 77.4%를 달성하여 단일 모달리티 사용 시보다 성능이 향상되었으며, 이는 제로샷 추론으로 달성된 결과이다. 또한, 다양한 과제(이진, 중증도, 다중 분류)와 프롬프트 변형에 따른 성능 변화를 분석하였다.
