본 논문은 Reddit에서 수집한 여러 정신 건강 데이터셋을 사용하여, 대규모 언어 모델(LLM)의 정신 건강 결과 예측 성능 향상을 위한 구조적 추론 기법(Chain-of-Thought, Self-Consistency, Tree-of-Thought)의 효과를 평가했습니다. Zero-shot 및 Few-shot CoT 등의 추론 기반 프롬프팅 전략을 분석하여 Balanced Accuracy, F1 score, Sensitivity/Specificity 등의 주요 성능 지표를 측정했습니다. 결과적으로 추론 기반 기법이 직접 예측보다 분류 성능을 향상시키는 것으로 나타났으며, 특히 복잡한 경우에 더욱 효과적이었습니다. 기존의 Zero-shot 비 CoT 프롬프팅, BERT 및 Mental-RoBerta와 같은 미세 조정된 사전 훈련된 transformers, 그리고 Mental Alpaca 및 Mental-Flan-T5와 같은 미세 조정된 오픈 소스 LLM과 비교했을 때, Dreaddit 및 SDCNL 데이터셋에서 상당한 성능 향상을 보였습니다. 하지만 Depression Severity 및 CSSRS 예측에서는 성능 저하가 나타나 데이터셋 특유의 한계를 보여주었습니다. 프롬프팅 전략 중에서는 Few-shot CoT가 가장 우수한 성능을 보였습니다. 본 연구는 정신 건강 텍스트 분류를 위한 추론 기반 LLM 기법의 종합적인 벤치마크를 제공하며, 확장 가능한 임상 적용 가능성과 향후 개선을 위한 과제를 제시합니다.
