본 연구는 특정 작업을 위한 언어 모델 선택을 안내하기 위해, 파인튜닝 대 제로샷 사용의 필요성, 도메인 관련 대 일반적인 사전 훈련 모델의 이점, 추가적인 도메인 특정 사전 훈련의 가치, 그리고 특정 작업에 대한 대규모 언어 모델(LLM)에 비해 소규모 언어 모델(SLM)의 지속적인 관련성을 조사합니다. 영국 컬럼비아 암 등록부(BCCR)의 전자 병리 보고서를 사용하여 다양한 난이도와 데이터 크기를 가진 세 가지 분류 시나리오를 평가했습니다. 다양한 SLM과 하나의 LLM을 모델로 사용했습니다. SLM은 제로샷과 파인튜닝 방식으로 평가되었고, LLM은 제로샷으로만 평가되었습니다. 결과적으로, 파인튜닝은 모든 시나리오에서 제로샷 결과에 비해 SLM 성능을 크게 향상시켰습니다. 제로샷 LLM은 제로샷 SLM보다 성능이 뛰어났지만, 파인튜닝된 SLM에는 일관되게 성능이 뒤떨어졌습니다. 도메인 관련 SLM은 파인튜닝 후 일반적인 SLM보다 성능이 더 우수했으며, 특히 어려운 작업에서 그 차이가 더 컸습니다. 추가적인 도메인 특정 사전 훈련은 쉬운 작업에서는 미미한 이점을 제공했지만, 복잡하고 데이터가 부족한 작업에서는 상당한 개선을 가져왔습니다. 결론적으로, 특정 도메인에서 SLM의 파인튜닝이 중요하며, 목표 분류 작업에서 제로샷 LLM 성능을 능가할 수 있음을 보여줍니다. 도메인 관련 또는 도메인 특정 데이터에 대한 사전 훈련은 특히 복잡한 문제나 제한된 파인튜닝 데이터의 경우 추가적인 이점을 제공합니다. LLM은 강력한 제로샷 기능을 제공하지만, 본 연구의 특정 작업에서는 적절하게 파인튜닝된 SLM의 성능에 미치지 못했습니다. LLM 시대에도 SLM은 관련성과 효율성을 유지하며, LLM에 비해 성능-자원 균형이 우수할 수 있습니다.
