यह शोधपत्र उस समस्या का समाधान करता है जिसमें बहुविध वृहत्-स्तरीय भाषा मॉडल (MLLM) कार्य-प्रासंगिक और अप्रासंगिक संकेतों के बीच अंतर करने में कठिनाई का अनुभव करते हैं, जिसके परिणामस्वरूप दृश्य प्रश्नोत्तर (VQA) जैसे कार्यों में त्रुटियाँ होती हैं। हम इस सीमा को "क्रॉस-मोडल क्षमता समस्या" के रूप में परिभाषित करते हैं, और "मोडल व्यतिकरण" पर ध्यान केंद्रित करते हैं, एक ऐसी घटना जिसमें अप्रासंगिक तौर-तरीकों से प्राप्त नॉइज़ सूचना उन कार्यों में प्रदर्शन को कम कर देती है जो एकल तौर-तरीकों पर निर्भर करते हैं, जैसे कि छवि वर्गीकरण या शुद्ध पाठ प्रश्नोत्तर। इस शोधपत्र में, हम मोडल व्यतिकरण को मात्रात्मक रूप से मापने के लिए एक व्यतिकरण-आधारित कारणात्मक निदान प्रयोग की रूपरेखा तैयार करते हैं और व्यतिकरण-आधारित डेटा संवर्द्धन और संगति नियमन रणनीतियों का उपयोग करके MLLM को परिष्कृत करने के लिए एक नवीन ढाँचा प्रस्तावित करते हैं, जिसमें प्रक्षेपी प्रवणता अवरोहण (PGD) का उपयोग करके अनुमानी व्यतिकरण और प्रतिकूल व्यतिकरण शामिल हैं। हम विभिन्न मानक डेटासेट (छवि-केंद्रित, पाठ-केंद्रित, और VQA कार्य) और बहु-मॉडल परिवारों पर प्रयोगों के माध्यम से प्रस्तावित विधि की प्रभावशीलता की पुष्टि करते हैं।
