본 논문은 정신 건강 장애의 탐지, 특징 분석 및 장기적인 모니터링에 급속히 변화를 가져오고 있는 다중 모달 머신 러닝(MML)에 대한 최초의 포괄적이고 임상적으로 기반을 둔 종합 연구입니다. 음성, 텍스트 또는 웨어러블 신호와 같은 개별 데이터 스트림에 의존했던 초기 연구와 달리, 최근 연구는 정신 질환의 풍부하고 복잡한 특징을 포착하기 위해 이질적인 모달리티를 통합하는 아키텍처에 집중하고 있습니다. 이 논문은 (i) 오디오, 비주얼, 생리 신호 및 텍스트 모달리티를 포함하는 26개의 공개 데이터 세트를 목록화하고, (ii) 28개의 모델에서 트랜스포머, 그래프 및 하이브리드 기반 융합 전략을 체계적으로 비교하여 표현 학습과 교차 모달 정렬의 동향을 강조합니다. 현재 기능을 요약하는 것을 넘어, 데이터 거버넌스 및 개인 정보 보호, 인구 통계 및 교차적 공정성, 평가 설명 가능성, 그리고 다중 모달 환경에서 정신 건강 장애의 복잡성과 같은 미해결 과제를 조사합니다. 이 논문은 방법론적 혁신과 정신과적 유용성을 연결하여 ML 연구자와 정신 건강 전문가 모두에게 신뢰할 수 있는 차세대 다중 모달 의사 결정 지원 시스템을 향한 방향을 제시하고자 합니다.
