Bài báo này trình bày hai đóng góp chính nhằm giải quyết vấn đề thiên kiến xã hội trong các mô hình ngôn ngữ quy mô lớn đa phương thức (MLLM). Đầu tiên, chúng tôi giới thiệu Bộ dữ liệu phản thực toàn diện (CMSC), bao gồm 18 khái niệm xã hội đa dạng và cân bằng. CMSC bổ sung cho các bộ dữ liệu hiện có, cho phép áp dụng một phương pháp toàn diện hơn để giảm thiểu thiên kiến xã hội. Thứ hai, chúng tôi đề xuất một chiến lược khử thiên kiến phản khuôn mẫu (CSD) để giảm thiểu thiên kiến xã hội trong MLLM bằng cách tận dụng khái niệm phản khuôn mẫu về các khuôn mẫu phổ biến. CSD tích hợp một phương pháp lấy mẫu dữ liệu nhận biết thiên kiến mới và cân bằng lại tổn thất để nâng cao hiệu quả giảm thiên kiến của mô hình. Các thí nghiệm mở rộng sử dụng bốn kiến trúc MLLM chính chứng minh rằng bộ dữ liệu CMSC và chiến lược CSD làm giảm hiệu quả thiên kiến xã hội so với các phương pháp hiện có, đạt được điều này mà không ảnh hưởng đến hiệu suất tổng thể trên các chuẩn mực suy luận đa phương thức chung.
