SLearnLLM: A Self-Learning Framework for Efficient Domain-Specific Adaptation of Large Language Models
Created by
Haebom
저자
Xiang Liu, Zhaoxiang Liu, Peng Wang, Kohou Wang, Huan Hu, Kai Wang, Shiguo Lian
개요
본 논문은 대규모 언어 모델(LLM)의 특정 도메인 적응을 위한 지도 학습 미세 조정(SFT)에서 전체 SFT 데이터셋을 사용해야 하는지에 대한 문제를 제기합니다. 기존 방식은 LLM의 기존 학습 데이터에 대한 정보가 제한적이기 때문에 전체 데이터셋으로 직접 미세 조정하는 것이 일반적입니다. 하지만 SFT 데이터셋이 모델의 기존 지식과 상당히 중복될 경우 성능 향상이 미미하여 계산 자원 낭비가 발생합니다. 본 논문에서는 SFT 데이터셋 내의 알려지지 않은 지식을 식별하고 이를 활용하여 모델을 미세 조정함으로써 훈련 효율을 크게 향상시키는 자기 학습 프레임워크를 제안합니다. 이 프레임워크는 LLM이 SFT 데이터셋의 질문에 답하고, 답변을 객관적으로 채점하여 잘못된 답변을 제거한 후, 필터링된 QA 쌍을 기반으로 LLM을 미세 조정합니다. 농업 및 의학 분야의 실험 결과, 본 방법은 전체 데이터셋 미세 조정과 비슷한 성능 향상을 달성하면서 훈련 시간을 상당히 단축시키는 것을 보여줍니다.
