Self-Evolving LLMs via Continual Instruction Tuning
Created by
Haebom
저자
Jiazheng Kang, Le Huang, Cheng Hou, Zhe Zhao, Zhenxiang Yan, Chuan Shi, Ting Bai
개요
본 논문은 산업 현장에서 지속적으로 진화하는 다양한 작업에 대응하기 위해 대규모 언어 모델(LLM)의 지속적 학습(CL)을 위한 매개변수 효율적인 적대적 전문가 혼합(MoE) 프레임워크인 MoE-CL을 제안합니다. 기존 CL 접근 방식의 치명적인 단점인 망각 문제를 해결하기 위해, MoE-CL은 작업별 전문가와 공유 전문가를 활용하는 이중 전문가 설계를 채택합니다. 작업별 전문가는 각 작업의 지식을 유지하고, 공유 전문가는 작업 간 전이를 가능하게 합니다. GAN 기반의 작업 인식 판별기를 통합하여 공유 전문가가 작업과 관련 없는 노이즈를 전달하지 않도록 합니다. 적대적 학습을 통해 공유 전문가는 일반화된 표현을 학습하고, 작업별 전문가는 작업 특정 세부 정보를 유지하여 지식 유지와 작업 간 일반화 간의 균형을 맞춥니다. 공개 MTL5 벤치마크와 Tencent3 산업용 벤치마크에 대한 실험과 Tencent Video 플랫폼의 콘텐츠 준수 검토에 대한 A/B 테스트를 통해 MoE-CL의 효과와 실용성을 검증하였습니다.
시사점, 한계점
•
시사점:
◦
산업 현장의 LLM 지속적 학습 문제에 대한 효과적인 해결책 제시 (MoE-CL).
◦
작업별 전문가와 공유 전문가를 활용한 이중 전문가 설계를 통해 망각 문제 완화.
◦
적대적 학습을 통해 작업 간 일반화와 지식 유지의 균형 달성.
◦
Tencent Video 플랫폼에서의 실제 적용을 통한 비용 절감 효과 검증 (15.3% 감소).
