यह शोधपत्र वित्तीय क्षेत्र में बड़े पैमाने पर भाषा मॉडल (LLM) लागू करने की सीमाओं को इंगित करता है, और इस समस्या को हल करने के लिए एक चीनी वित्त-विशिष्ट BERT मॉडल, FinBERT2 का प्रस्ताव करता है। इसकी उच्च कम्प्यूटेशनल लागत के बावजूद, LLM वित्तीय भावना विश्लेषण जैसे विभेदक कार्यों में फाइन-ट्यून्ड BERT से कम प्रदर्शन करता है, जनरेटिव कार्यों में विशेष जानकारी प्रदान करने के लिए रिट्रीवल ऑगमेंटेड जेनरेशन (RAG) विधि पर बहुत अधिक निर्भर करता है, और विषय मॉडलिंग जैसे अन्य फीचर-आधारित परिदृश्यों में भी कमज़ोर है। FinBERT2 एक द्विदिश एनकोडर मॉडल है जो 32 बिलियन टोकन के उच्च-गुणवत्ता वाले वित्तीय-विशिष्ट कॉर्पस पर पहले से प्रशिक्षित है, और पाँच वित्तीय वर्गीकरण कार्यों में मौजूदा (Fin)BERT मॉडल और LLM से बेहतर प्रदर्शन करता है। इसके अलावा, FinBERT2 पर आधारित Fin-Retrievers वित्तीय पुनर्प्राप्ति कार्यों में मौजूदा एम्बेडिंग मॉडल से बेहतर प्रदर्शन करते हैं, और Fin-TopicModel वित्तीय शीर्षकों के लिए उत्कृष्ट क्लस्टरिंग और विषय प्रतिनिधित्व सक्षम करता है। निष्कर्ष में, फिनबर्ट2 एलएलएम युग में वित्त-विशिष्ट मॉडल का उपयोग करने का एक प्रभावी तरीका सुझाता है।
