Self-Evolving LLMs via Continual Instruction Tuning
Created by
Haebom
저자
Jiazheng Kang, Le Huang, Cheng Hou, Zhe Zhao, Zhenxiang Yan, Chuan Shi, Ting Bai
개요
MoE-CL은 대규모 산업 환경에서 동적 데이터 분포에 적응하기 위해 자체 진화를 수행해야 하는 대규모 언어 모델(LLM)의 지속적인 학습을 위한 매개변수 효율적인 적대적 혼합 전문가 프레임워크입니다. MoE-CL은 듀얼 전문가 설계를 사용하며, 각 작업별 LoRA 전문가를 통해 작업별 지식을 보존하여 망각을 완화하고, 공유 LoRA 전문가는 상호 작업 간 전송을 가능하게 합니다. 공유 경로를 통한 작업 관련 노이즈 전송을 방지하기 위해, GAN 내에 작업 인식 판별자를 통합합니다.
시사점, 한계점
•
MoE-CL은 작업별 지식 유지를 위해 독립적인 매개변수를 사용하는 전용 LoRA 전문가와 작업 간 전송을 위한 공유 LoRA 전문가를 활용합니다.
•
적대적 학습을 통해, 공유 전문가는 판별자를 모방하는 일반화된 표현을 습득하고, 전용 전문가는 작업별 세부 정보를 유지하여 지식 보존과 상호 작업 간 일반화를 균형 있게 합니다.
•
MTL5 공개 벤치마크 및 산업 Tencent3 벤치마크에서 MoE-CL의 효과가 입증되었습니다.
•
Tencent Video 플랫폼의 콘텐츠 규정 준수 검토를 위한 A/B 테스트에서 MoE-CL은 수동 검토 비용을 15.3% 감소시켰습니다.
