本稿では、大規模なさまざまなタスクを効率的に処理するために、既存の事前訓練された専門家LLM（Large Language Models）を組み合わせる方法について説明します。既存の作業単位のエキスパート選択方法の限界を克服するために、インスタンスレベルで適応的なエキスパートの混合を可能にするSymbolic-MoEフレームワークを提案します。 Symbolic-MoEは、数学の代数、生物医学推論の分子生物学など、スキルに焦点を当てた細かいアプローチで関連する専門家LLMを動的に選択します。選択された各専門家は独自の推論を生成し、その結果はさまざまな推論結果を統合する能力に基づいて選択された集計器を介して最終的な高品質の応答として合成されます。モデルのロードとアンロードの高い計算オーバーヘッドの問題を解決するために、インスタンスを割り当てられたエキスパートベースにグループ化するデプロイメント戦略を実装して効率を高めました。さまざまなベンチマーク（MMLU-Pro、GPQA、AIME、MedMCQA）でGPT4o-miniおよびマルチエージェントアプローチよりも優れた性能を示し、最高のマルチエージェント基準モデルより平均8.15％向上したパフォーマンスを達成しました。さらに、新しい作業の一般化性能に優れており、高価なマルチラウンドディスカッションは不要で、ディスカッションベースの基準モデルよりも優れたパフォーマンスを示しました。
