본 논문은 소셜 미디어에서 감정과 의도 표현에 점점 더 많이 사용되는 스티커의 영향을 분석하기 위해 새로운 과제인 MSAIRS (Multimodal chat Sentiment Analysis and Intent Recognition involving Stickers)를 제시합니다. 중국어 채팅 기록과 스티커를 포함하는 새로운 다중 모달 데이터셋을 소개하며, 같은 텍스트에 다른 스티커, 같은 스티커에 다른 컨텍스트, 같은 이미지에 다른 텍스트가 있는 다양한 스티커를 포함하여 스티커가 채팅 감정과 의도에 미치는 영향을 더 잘 이해할 수 있도록 합니다. 또한, 차별 벡터 구성 및 계단식 어텐션 메커니즘을 특징으로 하는 효과적인 다중 모달 조인트 모델인 MMSAIR을 제안하여 감정과 의도의 상호 강화를 통한 정확도 향상을 보여줍니다. 실험 결과, MMSAIR은 기존 모델 및 고급 MLLM을 능가하며, 소셜 미디어에서 스티커 해석의 어려움과 독창성을 보여줍니다. 데이터셋과 코드는 깃허브에서 공개됩니다.
