본 논문은 대규모 언어 모델(LLM)의 지식 습득 능력 향상을 위한 새로운 방법인 Knowledge-Instruct를 제안합니다. 기존의 지속적 사전 훈련(CPT) 방식이 갖는 catastrophic forgetting 및 저데이터 환경에서의 비효율성 문제를 해결하기 위해, Knowledge-Instruct는 제한된 코퍼스로부터 정보 밀도가 높은 인공 지시 데이터를 생성하여 순수 지시 튜닝을 통해 지식을 효율적으로 주입합니다. 이는 새로운 지식을 효과적으로 통합하는 동시에 일반적인 추론 및 지시 따르기 능력을 유지합니다. 상대적으로 작은 언어 모델로부터 인공 데이터를 활용하여 확장성을 유지하며, 사실 암기 능력을 향상시키고 catastrophic forgetting을 최소화합니다. 또한 복잡한 다단계 추론을 포함한 문맥 이해 능력을 향상시켜 검색 시스템과의 통합을 용이하게 합니다. 새롭게 공개하는 Companies 데이터셋을 포함한 다양한 벤치마크를 통해 그 효과를 검증합니다.
