본 논문은 얼굴 표정과 음성을 포함한 여러 통신 채널에서 인간이 감정을 표현하고 동기화하는 방법에 대한 이해가 감정 인식 시스템과 인간-컴퓨터 상호 작용에 중요한 의미를 갖는다는 점을 다룹니다. 중첩되지 않은 음성이 더 명확한 감정 조율을 촉진하고, 중첩된 음성은 동기화를 방해한다는 개념에 착안하여, 본 연구는 이러한 대화 역학이 얼굴과 음성 양식에서 각성과 valence의 공간적 및 시간적 정렬에 어떻게 영향을 미치는지 조사합니다. IEMOCAP 데이터셋의 2인 상호 작용을 사용하여 EmoNet(얼굴 영상)과 Wav2Vec2 기반 모델(음성 오디오)을 통해 연속적인 감정 추정치를 추출했습니다. 음성 중첩을 기준으로 구간을 분류하고, 피어슨 상관관계, 지연 조정 분석 및 동적 시간 왜곡(DTW)을 사용하여 감정 정렬을 평가했습니다. 분석 결과, 중첩되지 않은 음성은 중첩된 음성보다 더 안정적이고 예측 가능한 감정 동기화와 관련이 있었습니다. 영 지연 상관 관계는 낮았고 통계적으로 유의미한 차이가 없었지만, 중첩되지 않은 음성은 특히 각성에 대해 변동성이 감소했습니다. 지연 조정 상관 관계와 최적 지연 분포는 이러한 구간에서 더 명확하고 일관된 시간적 정렬을 보여주었습니다. 반대로, 중첩된 음성은 더 높은 변동성과 더 평평한 지연 프로파일을 나타냈지만, DTW는 예상치 못하게 더 긴밀한 정렬을 나타내어 구별되는 조정 전략을 시사했습니다. 특히, 방향성 패턴은 차례를 기다리는 동안 얼굴 표정이 음성보다 앞서는 경우가 더 많았고, 동시에 발성하는 동안에는 음성이 앞서는 것을 보여주었습니다. 이러한 결과는 대화 구조가 감정 전달을 조절하는 데 중요함을 강조하며, 실제 상호 작용에서 다중 모드 정서적 정렬의 공간적 및 시간적 역학에 대한 새로운 통찰력을 제공합니다.
