Symbolic Mixture-of-Experts: Adaptive Skill-based Routing for Heterogeneous Reasoning
Created by
- Haebom
Category
Empty
저자
Justin Chih-Yao Chen, Sukwon Yun, Elias Stengel-Eskin, Tianlong Chen, Mohit Bansal
개요
본 논문은 대규모 다양한 작업을 효율적으로 처리하기 위해 기존의 사전 훈련된 전문가 LLMs(Large Language Models)를 결합하는 방법을 제시합니다. 기존의 작업 단위 전문가 선택 방식의 한계를 극복하고자, 인스턴스 수준의 적응적 전문가 혼합을 가능하게 하는 Symbolic-MoE 프레임워크를 제안합니다. Symbolic-MoE는 수학의 대수, 생물 의학 추론의 분자 생물학과 같이 기술(skill)에 중점을 둔 세분화된 접근 방식을 통해 관련 전문가 LLMs를 동적으로 선택합니다. 선택된 각 전문가는 자체 추론을 생성하고, 이 결과들은 다양한 추론 결과를 통합하는 능력을 기반으로 선택된 집계기(aggregator)에 의해 최종 결과로 합성됩니다. 모델 로딩 및 언로딩으로 인한 높은 계산 오버헤드 문제를 해결하기 위해, 인스턴스를 할당된 전문가를 기준으로 그룹화하는 배치 추론 전략을 구현했습니다. MMLU-Pro, GPQA, AIME, MedMCQA 등 다양한 벤치마크에서 GPT4o-mini 및 기존 다중 에이전트 접근 방식을 능가하는 성능을 보였습니다. 특히, 비용이 많이 드는 다중 라운드 논의가 필요 없다는 장점이 있습니다.
시사점, 한계점
•
시사점:
◦
인스턴스 수준의 전문가 선택을 통해 기존의 작업 단위 선택 방식의 한계를 극복하고 성능을 크게 향상시켰습니다 (평균 8.15% 향상).
◦
다중 에이전트 접근 방식보다 우수한 성능을 보이며, 더 적은 계산량으로 더 나은 결과를 얻었습니다.
◦
효율적인 배치 추론 전략을 통해 다수의 전문가 모델을 효율적으로 활용할 수 있음을 보여주었습니다.
◦
다중 라운드 논의 없이도 고품질 응답을 생성할 수 있습니다.
•
한계점:
◦
제안된 방법의 일반화 성능에 대한 추가적인 연구가 필요합니다.
◦
다양한 유형의 작업에 대한 적용 가능성 및 한계를 더 자세히 분석해야 합니다.
◦
특정 기술(skill)에 대한 전문성을 정확하게 평가하는 방법에 대한 개선이 필요할 수 있습니다.
◦
더욱 복잡하고 대규모의 작업에 대한 적용 가능성 및 효율성 평가가 필요합니다.
