Trong bài báo này, chúng tôi trình bày một nhiệm vụ mới, Phân tích tình cảm và nhận dạng ý định trò chuyện đa phương thức liên quan đến nhãn dán (MSAIRS), để phân tích ảnh hưởng của nhãn dán, vốn ngày càng được sử dụng để thể hiện cảm xúc và ý định trên mạng xã hội. Chúng tôi giới thiệu một tập dữ liệu đa phương thức mới chứa các bản ghi trò chuyện và nhãn dán tiếng Trung, bao gồm nhiều nhãn dán với các nhãn dán khác nhau cho cùng một văn bản, các ngữ cảnh khác nhau cho cùng một nhãn dán và các văn bản khác nhau cho cùng một hình ảnh, để hiểu rõ hơn ảnh hưởng của nhãn dán đến cảm xúc và ý định trò chuyện. Ngoài ra, chúng tôi đề xuất một mô hình kết hợp đa phương thức hiệu quả, MMSAIR, với cấu trúc vectơ phân biệt và cơ chế chú ý theo tầng, cho thấy độ chính xác được cải thiện thông qua việc củng cố lẫn nhau cảm xúc và ý định. Kết quả thử nghiệm cho thấy MMSAIR vượt trội hơn các mô hình hiện có và MLLM tiên tiến, chứng minh thách thức và tính độc đáo của việc diễn giải nhãn dán trên mạng xã hội. Tập dữ liệu và mã nguồn được mở trên GitHub.