본 논문은 최근 대규모 언어 모델(LLM)의 급속한 발전에도 불구하고, 전통적인 BERT 계열 모델이 텍스트 분류에서 여전히 경쟁력을 가질 수 있음을 보여줍니다. 6개의 고난이도 데이터셋을 사용하여 BERT 계열 모델의 파인튜닝, LLM 내부 상태 활용, 제로샷 추론 등 세 가지 방법을 비교 분석한 결과, BERT 계열 모델이 LLM을 능가하는 경우가 많다는 것을 발견하였습니다. 데이터셋을 패턴 기반, 심층 의미 기반, 세계 지식 기반 세 가지 유형으로 분류하고 PCA 및 probing 실험을 통해 각 모델의 강점을 분석하여, BERT 계열 모델은 패턴 기반 작업에, LLM은 심층 의미 또는 세계 지식을 필요로 하는 작업에 강점을 보인다는 것을 밝혔습니다. 이러한 분석 결과를 바탕으로, 과제에 따라 최적의 모델을 선택하는 세분화된 과제 선택 전략인 TaMAS를 제안합니다.
