# Unveil Multi-Picture Descriptions for Multilingual Mild Cognitive Impairment Detection via Contrastive Learning

### 저자

Kristin Qi, Jiali Cheng, Youxiang Zhu, Hadi Amiri, Xiaohui Liang

### 개요

본 논문은 다국어 및 다중 이미지 환경에서 그림 설명을 통한 경도인지장애(MCI) 검출이라는 어려운 문제를 다룹니다. 기존 연구는 주로 영어 사용자의 단일 그림 설명에 초점을 맞춘 반면, 본 논문은 다국어 사용자와 다중 이미지를 포함하는 TAUKDIAL-2024 챌린지를 기반으로 연구를 확장합니다. 이를 위해, 본 논문은 지도형 대조 학습을 통한 차별적 표현 학습 강화, 음성 및 텍스트 모달리티뿐 아니라 이미지 모달리티 활용, 그리고 가짜 상관관계 및 과적합 완화를 위한 전문가 곱(PoE) 전략을 포함하는 세 가지 구성 요소로 이루어진 프레임워크를 제안합니다. 제안된 프레임워크는 텍스트 단일 모달 기준 모델 대비 Unweighted Average Recall (UAR)을 7.1% (68.1%에서 75.2%로), F1 점수를 2.9% (80.6%에서 83.5%로) 향상시키는 결과를 보였으며, 특히 대조 학습 구성 요소는 음성보다 텍스트 모달리티에 더 큰 성능 향상을 가져왔습니다.

### 시사점, 한계점

- **시사점:**

    - 다국어, 다중 이미지 환경에서의 MCI 검출 성능 향상에 기여하는 새로운 프레임워크 제시.

    - 지도형 대조 학습, 이미지 모달리티 활용, PoE 전략의 효과를 실험적으로 검증.

    - 텍스트 모달리티에 대한 대조 학습의 효용성을 확인.

    - 향상된 MCI 검출 성능으로 실제 임상 적용 가능성 제시.

- **한계점:**

    - TAUKDIAL-2024 챌린지 데이터셋에 대한 의존도. 다른 데이터셋으로의 일반화 가능성 검증 필요.

    - 프레임워크의 복잡성으로 인한 계산 비용 증가 가능성.

    - 다양한 언어 및 문화적 배경에 대한 추가적인 실험 및 분석 필요.

    - 임상적으로 검증된 MCI 진단 기준과의 비교 분석 부족.

[PDF 보기](https://arxiv.org/pdf/2505.17067)

For the site tree, see the [root Markdown](https://slashpage.com/haebom.md).