대규모 언어 모델(LLM) 개발의 중앙 집중화 현상을 해결하기 위해, 혼합 전문가(MoE) 아키텍처를 활용한 분산형 협업 LLM 개발 프레임워크인 MoECollab을 제시합니다. MoECollab은 단일 모델을 전문가 모듈로 분해하고 학습 가능한 게이트 네트워크로 조정하여, 계산 자원에 관계없이 다양한 참여자의 협업을 가능하게 합니다. 전문가 역학, 게이트 메커니즘, 통합 전략에 대한 수학적 기반과 완벽한 기술적 구현을 제공하며, 여러 데이터셋에 대한 실험을 통해 기준 모델보다 3-7% 향상된 정확도를 달성하면서 계산 요구량을 34% 줄이는 것을 보여줍니다. 전문가 특화는 특정 영역에서 상당한 성능 향상을 가져오며, 일반 분류에서는 F1 점수가 51%에서 88%로, 뉴스 분류에서는 정확도가 23%에서 44%로 향상됩니다. 라우팅 엔트로피 최적화 문제를 공식화하고, 적절한 정규화 기법을 통해 전문가 활용률을 14% 높이는 것을 보여줍니다. 이러한 결과는 MoECollab이 아키텍처적으로 지원되는 협업을 통해 LLM 개발의 민주화에 효과적인 접근 방식임을 입증합니다.
