본 논문은 대규모 언어 모델(LLM)의 제로샷 일반화 문제를 해결하기 위해, 일반 지식과 작업 특정 적응을 분리하는 모듈형 프레임워크인 GenKnowSub을 제안한다. GenKnowSub은 일반 도메인 LoRA와 여러 작업 특정 LoRA 모듈 라이브러리를 구성하고, 각 작업 특정 모듈에서 일반 지식 요소를 빼서 작업 관련 정보에 집중하는 잔차 모듈을 생성한다. Arrow routing 알고리즘을 활용하여 추가 훈련 없이 새로운 입력에 대해 모듈을 동적으로 선택하고 결합한다. Phi-3 모델과 표준 Arrow를 기준으로 영어, 프랑스어, 독일어 등 다양한 언어에서 파생된 일반 지식 LoRA를 사용하면 다양한 벤치마크에서 일관된 성능 향상을 보인다는 것을 실험적으로 보여준다. 또한 Phi-2 모델에서도 GenKnowSub의 일반화 성능을 검증한다.
