Jiaqi Han, Jingwen Ye, Shunyu Liu, Haofei Zhang, Jie Song, Zunlei Feng, Mingli Song
개요
본 논문은 대규모 언어 모델 병합 기술, 특히 매개변수 공간 내에서 모델 기능을 결합하는 학습 없는 방법에 대한 연구를 다룹니다. 기존 방법의 한계인 모든 매개변수의 균일한 처리로 인한 성능 저하와 비효율적인 검색 기반 알고리즘 문제를 해결하기 위해, 강화 학습 기반의 새로운 모델 병합 프레임워크인 RMM(Reinforced Model Merging)을 제시합니다. RMM은 계층별 병합 작업을 수행하여 최적의 병합 아키텍처를 검색하며, 원 모델에 대한 기울기 계산 없이 작동하여 에지 디바이스에서도 실행 가능합니다. 또한, 평가 과정에서 데이터 하위 집합을 사용하여 보상 피드백 단계의 병목 현상을 해결함으로써 속도를 최대 100배까지 향상시켰습니다. 다양한 비전 및 NLP 데이터셋에 대한 실험 결과, RMM은 기존 방법보다 우수한 성능을 달성하는 것을 보여줍니다. 코드는 https://github.com/WuDiHJQ/Reinforced-Model-Merging 에서 공개됩니다.
