본 논문은 대규모 다양한 작업을 효율적으로 처리하기 위해 기존의 사전 훈련된 전문가 LLMs(Large Language Models)를 결합하는 방법을 제안합니다. 기존의 작업 단위 전문가 선택 방식의 한계를 극복하고자, Symbolic-MoE라는 새로운 Mixture-of-Experts 프레임워크를 제시합니다. Symbolic-MoE는 수학의 대수, 생의학 추론의 분자생물학과 같이 세분화된 기술(skill) 기반의 전문가 선택 전략을 사용하여 각 인스턴스에 필요한 전문가를 동적으로 선택합니다. 선택된 각 전문가는 개별적으로 추론을 생성하고, 다양한 추론 결과를 통합하는 능력을 기반으로 선택된 집계기가 최종 응답을 생성합니다. 모델 로딩 및 언로딩으로 인한 높은 계산 비용 문제를 해결하기 위해 배치 추론 전략을 사용하여 효율성을 높였습니다. 다양한 벤치마크(MMLU-Pro, GPQA, AIME, MedMCQA)에서 GPT4o-mini 및 기존 다중 에이전트 접근 방식을 능가하는 성능을 보이며, 최고의 다중 에이전트 기준 모델보다 평균 8.15% 향상된 성능을 달성했습니다. 또한, 비용이 많이 드는 다중 라운드 토론이 필요 없다는 장점도 있습니다.
