본 논문은 대규모 언어 모델(LLM)의 제로샷 일반화 문제를 해결하기 위해 일반 지식과 특정 작업에 대한 적응을 분리하는 모듈형 프레임워크인 GenKnowSub(General Knowledge Subtraction)을 제안한다. GenKnowSub은 일반 영역 LoRA와 다양한 작업별 LoRA 라이브러리를 구성하여, 일반 지식 LoRA를 각 작업별 LoRA에서 빼서 작업 관련 정보에만 집중하는 잔차 모듈을 생성한다. Arrow routing 알고리즘을 활용하여 추가 학습 없이 새로운 입력에 대해 모듈을 동적으로 선택하고 결합한다. Phi-3 모델과 표준 Arrow를 기준으로 영어, 프랑스어, 독일어 등 다양한 언어에서 파생된 일반 지식 LoRA를 사용하면 다양한 벤치마크에서 일관된 성능 향상을 얻을 수 있음을 보여준다. 또한 Phi-2 모델에서 GenKnowSub이 성능이 낮은 LLM에도 일반화될 수 있음을 실험적으로 확인하였다.
