Bài báo này khám phá lỗ hổng lỗi của các mô hình ngôn ngữ quy mô lớn đa phương thức (MLLM), đặc biệt là hiện tượng không chắc chắn về phản hồi đối với thông tin sai lệch. Sử dụng chín tập dữ liệu chuẩn và mười hai MLLM nguồn mở tiên tiến, các nhà nghiên cứu phát hiện ra rằng một tín hiệu gây hiểu lầm duy nhất dẫn đến tỷ lệ đảo ngược 65% các câu trả lời đúng trước đó. Để phân tích định lượng điều này, chúng tôi đã đề xuất một quy trình đánh giá hai giai đoạn (xác thực phản hồi ban đầu và đo tỷ lệ lỗi sau khi đưa chỉ thị gây hiểu lầm) và tạo ra một Điểm chuẩn Không chắc chắn Đa phương thức (MUB) bằng cách thu thập các ví dụ có tỷ lệ lỗi cao. Các đánh giá mở rộng trên mười hai mô hình nguồn mở và năm mô hình nguồn đóng cho thấy tỷ lệ lỗi trung bình vượt quá 86%, với 67,19% đối với tín hiệu rõ ràng và 80,67% đối với tín hiệu ngầm. Cuối cùng, chúng tôi đã tinh chỉnh các MLLM nguồn mở trên một tập dữ liệu hướng hỗn hợp gồm 2000 mẫu, giúp giảm đáng kể tỷ lệ lỗi (6,97% đối với tín hiệu rõ ràng và 32,77% đối với tín hiệu ngầm).
