본 논문은 대규모 다양한 작업을 효율적으로 처리하기 위해 기존의 사전 훈련된 전문가 LLMs(Large Language Models)를 결합하는 방법을 제시합니다. 기존의 작업 단위 전문가 선택 방식의 한계를 극복하기 위해, 인스턴스 수준의 적응적 전문가 혼합을 가능하게 하는 Symbolic-MoE 프레임워크를 제안합니다. Symbolic-MoE는 수학의 대수, 생물의학 추론의 분자생물학과 같이 기술(skill)에 중점을 둔 세분화된 접근 방식을 통해 관련 전문가 LLMs를 동적으로 선택합니다. 선택된 각 전문가는 자체 추론을 생성하고, 그 결과는 다양한 추론 결과를 통합하는 능력을 기반으로 선택된 집계기(aggregator)를 통해 최종 고품질 응답으로 합성됩니다. 모델 로딩 및 언로딩의 높은 계산 오버헤드 문제를 해결하기 위해, 인스턴스를 할당된 전문가 기반으로 그룹화하는 배치 전략을 구현하여 효율성을 높였습니다. 다양한 벤치마크(MMLU-Pro, GPQA, AIME, MedMCQA)에서 GPT4o-mini 및 다중 에이전트 접근 방식보다 우수한 성능을 보였으며, 최고의 다중 에이전트 기준 모델보다 평균 8.15% 향상된 성능을 달성했습니다. 또한, 새로운 작업에 대한 일반화 성능이 우수하고, 비용이 많이 드는 다중 라운드 토론이 필요하지 않아 토론 기반 기준 모델보다 우수한 성능을 보였습니다.
