Bài báo này tập trung vào việc phát triển một hệ thống mạnh mẽ để tự động phát hiện các meme chứa ngôn từ kích động thù địch, một vấn đề nghiêm trọng trên Internet. Mặc dù các mô hình đa phương thức (LMM) quy mô lớn đã cho thấy kết quả khả quan, nhưng chúng vẫn gặp phải những thách thức như hiệu suất chưa tối ưu và khả năng khái quát hóa liên miền hạn chế. Để giải quyết những thách thức này, chúng tôi đề xuất một khuôn khổ thích ứng mạnh mẽ, duy trì khả năng ngôn ngữ thị giác chung của LMM đồng thời cải thiện cả độ chính xác trong miền và khả năng khái quát hóa liên miền. Phương pháp được đề xuất chứng minh tính mạnh mẽ trước các cuộc tấn công đối nghịch so với các mô hình tinh chỉnh có giám sát (SFT) hiện có. Kết quả thử nghiệm trên sáu tập dữ liệu phân loại meme cho thấy phương pháp này vượt trội hơn các mô hình tiên tiến hiện có và tạo ra bằng chứng chất lượng cao hơn, do đó nâng cao khả năng diễn giải của mô hình.