본 논문은 대규모 언어 모델(LLM)을 활용하여 특정 도메인 전문가를 지원하는 방안을 제시한다. SaaS 솔루션의 데이터 프라이버시 문제와 오픈 소스 모델의 높은 컴퓨팅 자원 요구 사항을 해결하기 위해, 저자들은 소규모 도메인 특화 LLM 개발에 초점을 맞춘다. 특히, 제한된 양의 고품질 도메인 특정 훈련 데이터 문제를 해결하기 위해, 가이드 기반의 합성 데이터 생성과 하향식 도메인 데이터 큐레이션을 결합한 비용 효율적이고 확장 가능한 훈련 파이프라인을 제안한다. 이 파이프라인은 Domain-Adaptive Pretraining (DAPT), Domain-specific Supervised Fine-tuning (DSFT), Direct Preference Optimization (DPO)를 통합하여 전문 사용 사례에 효과적인 소규모 모델을 훈련시킨다. 저자들은 30억 개의 파라미터를 가진 fault 진단, 근본 원인 분석, 수리 추천을 위한 DiagnosticSLM 모델을 개발하고, DiagnosticMCQ, DiagnosticQA, DiagnosticComp, DiagnosticSum의 네 가지 도메인 특정 벤치마크를 통해 모델 성능을 평가했다. 그 결과, DiagnosticSLM은 MCQ task에서 유사하거나 더 큰 크기의 오픈 소스 모델보다 최대 25%의 정확도 향상을 보였으며, 다른 task에서도 유사하거나 더 나은 성능을 보여 도메인 특정 추론 및 일반화 능력을 입증했다.
