본 논문은 AI 의료 결정 과정의 투명성을 높이기 위해 감정 추론(Sentiment Reasoning)이라는 새로운 과제를 제시합니다. 감정 추론은 음성 및 텍스트 모달리티 모두에 적용 가능하며, 모델이 감정 레이블을 예측하고 그 이유를 설명하는 추론(rationale)을 생성하는 것을 목표로 합니다. 연구진은 다중 모달 및 다중 과제 프레임워크와 세계 최대 규모의 다중 모달 감정 분석 데이터셋을 개발하여 다섯 가지 언어(베트남어, 영어, 중국어, 독일어, 프랑스어)에 대한 실험을 진행했습니다. 실험 결과, 감정 추론은 모델의 투명성을 향상시키고(인간과 비슷한 수준의 의미론적 품질을 가진 추론 생성), 추론 기반 미세 조정을 통해 모델의 분류 성능을 향상시키는 것(+2% 증가)으로 나타났습니다. 또한, 인간 전사본과 ASR 전사본 간 생성된 추론의 의미론적 품질에 유의미한 차이가 없음을 확인했습니다. 모든 코드, 데이터 및 모델은 공개적으로 제공됩니다.
