본 논문은 얼굴 표정과 음성을 포함한 여러 통신 채널에서 인간이 감정을 표현하고 동기화하는 방식에 대한 이해가 감정 인식 시스템과 인간-컴퓨터 상호작용에 중요한 의미를 지닌다는 점을 바탕으로 연구를 진행했습니다. 중첩되지 않은 음성이 더 명확한 감정 조정을 촉진하고, 중첩된 음성은 동기화를 방해한다는 개념에 착안하여, 대화 역동성이 얼굴과 음성 양식에서 각성과 valence의 공간적 및 시간적 정렬에 어떻게 영향을 미치는지 조사했습니다. IEMOCAP 데이터셋의 2인 상호작용을 사용하여 EmoNet(얼굴 영상)과 Wav2Vec2 기반 모델(음성 오디오)을 통해 연속적인 감정 추정치를 추출했습니다. 음성 중첩 여부에 따라 세그먼트를 분류하고, Pearson 상관관계, 지연 조정 분석 및 Dynamic Time Warping (DTW)을 사용하여 감정 정렬을 평가했습니다. 분석 결과, 중첩되지 않은 음성은 중첩된 음성보다 더 안정적이고 예측 가능한 감정 동기화와 관련이 있었습니다. 0 지연 상관관계는 낮았고 통계적으로 유의미한 차이가 없었지만, 중첩되지 않은 음성은 특히 각성에 대해 변동성이 감소했습니다. 지연 조정 상관관계와 최적 지연 분포는 이러한 세그먼트에서 더 명확하고 일관된 시간적 정렬을 보여주었습니다. 반대로, 중첩된 음성은 더 높은 변동성과 평평한 지연 프로필을 보였지만, DTW는 예상치 못하게 더 긴밀한 정렬을 나타내어 별개의 조정 전략을 시사했습니다. 특히, 방향성 패턴은 차례를 지킬 때 얼굴 표정이 음성보다 앞서는 경우가 많았고, 동시에 발성하는 동안에는 음성이 앞서는 것으로 나타났습니다. 이러한 결과는 대화 구조가 감정적 의사소통을 조절하는 데 중요하며, 실제 상호작용에서 다중 모달 감정적 정렬의 공간적 및 시간적 역동성에 대한 새로운 통찰력을 제공합니다.
