यह शोधपत्र चिकित्सा शिक्षा सामग्री में अनुपयुक्त भाषा (आईयूएल) की स्वचालित पहचान के लिए एक लघु भाषा मॉडल (एसएलएम) और एक पूर्व-प्रशिक्षित वृहद भाषा मॉडल (एलएलएम) के प्रदर्शन का मूल्यांकन करता है। लगभग 500 दस्तावेज़ों (12,000 से अधिक पृष्ठों) के डेटासेट का उपयोग करते हुए, हमने विभिन्न एसएलएम मॉडलों की तुलना की, जिनमें एक आईयूएल सामान्य वर्गीकारक, एक उपश्रेणी-विशिष्ट द्विआधारी वर्गीकारक, एक बहु-लेबल वर्गीकारक, और एक पदानुक्रमित पाइपलाइन, साथ ही कई प्रॉम्प्ट विविधताओं वाला एक एलएलएम (लामा-3 8बी और 70बी) शामिल है। परिणामों से पता चला कि सावधानीपूर्वक निर्मित शॉट्स का उपयोग करते हुए एसएलएम ने एलएलएम से काफी बेहतर प्रदर्शन किया, और विशेष रूप से, अनुपयुक्त भाषा से रहित अनुभागों में नकारात्मक उदाहरणों पर प्रशिक्षित उपश्रेणी-विशिष्ट द्विआधारी वर्गीकारक ने सबसे अच्छा प्रदर्शन किया।
