본 논문은 얼굴 표정과 음성을 포함한 다중 통신 채널에서 인간이 감정을 표현하고 동기화하는 방식에 대한 이해가 감정 인식 시스템과 인간-컴퓨터 상호작용에 중요한 영향을 미친다는 점을 강조합니다. 중첩되지 않은 음성이 더 명확한 감정적 조정을 촉진하고, 중첩된 음성은 동기화를 방해한다는 개념에 착안하여, 이 연구는 대화 역학이 얼굴과 음성 양식에서 각성과 valence의 공간적 및 시간적 정렬에 어떻게 영향을 미치는지 조사합니다. IEMOCAP 데이터셋의 2인 상호작용을 사용하여 EmoNet(얼굴 비디오)과 Wav2Vec2 기반 모델(음성 오디오)을 통해 지속적인 감정 추정치를 추출했습니다. 음성 중첩을 기준으로 세그먼트를 분류하고, 피어슨 상관관계, 지연 조정 분석 및 동적 시간 왜곡(DTW)을 사용하여 감정 정렬을 평가했습니다. 분석 결과, 중첩되지 않은 음성은 중첩된 음성보다 더 안정적이고 예측 가능한 감정 동기화와 관련이 있었습니다. 0 지연 상관 관계는 낮았고 통계적으로 유의미한 차이가 없었지만, 중첩되지 않은 음성은 특히 각성에 대해 변동성이 감소했습니다. 지연 조정 상관 관계와 최적 지연 분포는 이러한 세그먼트에서 더 명확하고 일관된 시간적 정렬을 보여주었습니다. 반대로, 중첩된 음성은 더 높은 변동성과 평평한 지연 프로필을 보였지만, DTW는 예상치 못하게 더 긴밀한 정렬을 나타내어 독특한 조정 전략을 시사했습니다. 특히, 방향 패턴은 차례를 지킬 때 얼굴 표정이 음성보다 더 자주 앞서고, 동시 음성화 중에는 음성이 앞서는 것을 보여주었습니다. 이러한 결과는 대화 구조가 감정적 의사소통을 조절하는 데 중요함을 강조하며, 실제 상호 작용에서 다중 모드 감정 정렬의 공간적 및 시간적 역학에 대한 새로운 통찰력을 제공합니다.
