इस शोधपत्र में, हम PVChat, एक व्यक्तिगत वीडियो बड़े पैमाने पर भाषा मॉडल (ViLLM) का प्रस्ताव करते हैं। इस अवलोकन के आधार पर कि मौजूदा ViLLM सामान्य वीडियो समझ में अच्छे हैं, लेकिन विशिष्ट व्यक्तियों (जैसे, "विल्सन कीमोथेरेपी से गुजर रहा है") को समझने में संघर्ष करते हैं, हम एक ऐसा ढांचा प्रस्तुत करते हैं जो एक ही वीडियो के साथ व्यक्तिगत प्रश्न उत्तर (QA) को सक्षम बनाता है। PVChat सिंथेटिक रूप से संवर्धित वीडियो-QA डेटासेट पर मिश्रित हेड (MoH) वृद्धि के साथ ViLLM को अनुकूलित करता है, एक वृद्धिशील छवि-वीडियो सीखने की रणनीति का उपयोग करता है। हम डेटा वृद्धि पाइपलाइन के माध्यम से पहचान-संरक्षण सकारात्मक नमूनों को संश्लेषित करते हैं और विविध प्रशिक्षण डेटासेट बनाने के लिए मौजूदा वीडियो कॉर्पोरा से कठिन नकारात्मक नमूनों को पुनः प्राप्त करते हैं। इसके अलावा, हम व्यक्तिगत सुविधा सीखने को बढ़ाने के लिए एक ReLU-रूटेड MoH ध्यान तंत्र और दो नए उद्देश्य फ़ंक्शन (स्मूथ प्रॉक्सिमिटी रेगुलेशन और हेड एक्टिवेशन एन्हांसमेंट) का प्रस्ताव करते हैं। हम छवि प्रीट्रेनिंग से वीडियो फ़ाइन-ट्यूनिंग तक दो-चरणीय प्रशिक्षण रणनीति अपनाते हैं, जो स्थिर विशेषताओं से लेकर गतिशील अभ्यावेदन तक एक वृद्धिशील सीखने की प्रक्रिया को सक्षम बनाता है। हम विभिन्न प्रकार के डेटासेट (चिकित्सा परिदृश्य, टीवी श्रृंखला, एनिमेशन और वास्तविक दुनिया के वीडियो) पर PVChat का मूल्यांकन करते हैं और एकल-वीडियो सीखने के बाद निजी सुविधाओं को समझने में मौजूदा अत्याधुनिक ViLLM पर इसकी श्रेष्ठता प्रदर्शित करते हैं।
