Raman Dutt, Harleen Hanspal, Guoxuan Xia, Petru-Daniel Tudosiu, Alexander Black, Yongxin Yang, Steven McDonagh, Sarah Parisot
개요
본 논문은 기존의 사전 훈련된 텍스트 전용 대규모 언어 모델(LLM)에 다중 모드 생성 기능을 추가하는 방법을 제안합니다. 기존 언어 생성 기능의 성능 저하 없이 (C1) 그리고 새로운 모드 학습을 위한 작은 파라미터 예산 준수 (C2) 라는 두 가지 제약 조건을 만족시키는 데 중점을 둡니다. 기존의 전용 모듈 추가 방식과 달리, 본 논문에서는 깊은 모델에 내재된 활용되지 않은 용량, 특히 전문가 혼합(MoE) 내의 파라미터 중복을 활용하여 새로운 모드를 학습하기 위한 추가 용량을 확보하는 방법을 제시합니다. 새로운 모드의 토큰에만 저차원 적응을 적용하여 기존 언어 생성 기능을 보존하고 (C2), Gromov-Wasserstein 거리 기반의 새로운 파라미터 초기화 기법을 도입하여 수렴과 훈련 안정성을 향상시킵니다. 라우팅 메커니즘에 대한 분석을 통해 모드 특이적 경로의 출현과 전문가 내 중복 감소를 확인하여 효율적인 다중 모드 생성 기능을 가능하게 합니다. 본 방법은 다양한 최신 LLM에 적용 가능하며, 단일 모드에서 다중 모드 아키텍처로 전환하는 새로운 경로를 제공합니다.
시사점, 한계점
•
시사점:
◦
기존 LLM의 파라미터를 크게 늘리지 않고 다중 모달 생성 기능을 추가할 수 있는 효율적인 방법 제시.
◦
MoE의 파라미터 중복을 활용하여 새로운 모달리티 학습에 필요한 추가 용량을 확보.
◦
Gromov-Wasserstein 거리 기반의 새로운 파라미터 초기화 기법을 통해 수렴 및 훈련 안정성 향상.
