Este artículo presenta un método eficiente de clasificación de textos para gestionar el creciente volumen de literatura científica. Ajustamos modelos de lenguaje pre-entrenados (PLMs) como BERT, SciBERT, BioBERT y BlueBERT en el conjunto de datos de Web of Science (WoS-46985) y los aplicamos a la clasificación de textos científicos. Expandimos el conjunto de datos añadiendo 1,000 artículos por categoría, coincidiendo con las categorías principales de WoS-46985, mediante la ejecución de siete consultas dirigidas en la base de datos de WoS. Usamos PLMs para predecir etiquetas para datos no etiquetados y combinamos las predicciones usando una estrategia de votación dura para mejorar la precisión y la confianza. El ajuste fino en el conjunto de datos expandido usando tasas de aprendizaje dinámico y detención temprana mejora significativamente la precisión de la clasificación, especialmente en dominios especializados. Demostramos que los modelos específicos de dominio como SciBERT y BioBERT superan consistentemente a los modelos de propósito general como BERT. Estos resultados resaltan la eficacia de la ampliación de conjuntos de datos, la predicción de etiquetas basada en inferencia, la votación dura y las técnicas de ajuste para crear una solución robusta y escalable para la clasificación automatizada de textos académicos.
