본 논문은 기존의 사전 훈련된 텍스트 전용 거대 언어 모델(LLM)에 다중 모드 생성 기능을 추가하는 방법을 제안합니다. 두 가지 핵심 제약 조건, 즉 (C1) 원래 언어 생성 기능의 유지를 최소한의 성능 저하로 유지하고, (C2) 새로운 모드를 학습하기 위한 작은 매개변수 예산을 준수하는 것을 목표로 합니다. 기존의 전용 모듈 추가 방식과 달리, 본 논문은 깊은 모델에 내재된 활용되지 않은 용량을 활용하는 방법을 제시합니다. 구체적으로, 전문가 혼합(MoE) 내의 매개변수 중복성을 새로운 모드 학습을 위한 추가 용량의 원천으로 활용하여 매개변수 효율성을 높입니다 (C1). 또한, 새로운 모드의 토큰에만 저차원 적응을 적용하여 원래 언어 생성 기능을 보존합니다 (C2). 더불어, Gromov-Wasserstein 거리 기반의 새로운 매개변수 초기화 방식을 도입하여 수렴 및 훈련 안정성을 향상시킵니다. 라우팅 메커니즘에 대한 광범위한 분석을 통해 모드별 경로의 출현과 전문가 내 중복성 감소를 밝혀내어 효율적으로 다중 모드 생성 기능을 활성화합니다. 전반적으로, 본 논문의 방법은 다양한 최신 LLM에 원활하게 적용될 수 있으며, 단일 모드에서 다중 모드 아키텍처로 전환하는 새로운 경로를 제공합니다.
