본 논문은 과학 문헌의 증가하는 양을 처리하기 위한 효율적인 텍스트 분류 방법을 제시한다. BERT, SciBERT, BioBERT, BlueBERT 등의 사전 훈련된 언어 모델(PLM)을 Web of Science (WoS-46985) 데이터셋에 미세 조정하여 과학 텍스트 분류에 적용한다. WoS 데이터베이스에서 7개의 표적 질의를 실행하여 WoS-46985의 주요 분류와 일치하는 각 분류당 1,000개의 논문을 추가하여 데이터셋을 확장한다. PLM을 사용하여 레이블이 없는 데이터에 대한 레이블을 예측하고, 하드 보팅 전략을 통해 예측 결과를 결합하여 정확도와 신뢰도를 향상시킨다. 동적 학습률과 조기 종료를 사용하여 확장된 데이터셋에 대한 미세 조정을 수행하여 분류 정확도, 특히 전문 분야에서의 정확도를 크게 향상시킨다. SciBERT와 BioBERT와 같은 도메인 특화 모델이 BERT와 같은 범용 모델보다 지속적으로 성능이 우수함을 보여준다. 이러한 결과는 데이터셋 증강, 추론 기반 레이블 예측, 하드 보팅 및 미세 조정 기법이 자동화된 학술 텍스트 분류를 위한 강력하고 확장 가능한 솔루션을 만드는 데 효과적임을 강조한다.
