SDG-MoE: Signed Debate Graph Mixture-of-Experts

작성자

Haebom

카테고리

Empty

저자

Stepan Kulibaba, Kirill Labzin, Artem Dzhalilov, Roman Pakhomov, Oleg Svidchenko, Alexander Gasnikov, Aleksei Shpilman

💡 개요

본 논문은 Sparse MoE 모델에서 토큰이 라우팅된 전문가들 간의 상호작용을 통해 성능을 향상시키는 새로운 아키텍처인 SDG-MoE(Signed Debate Graph Mixture-of-Experts)를 제안합니다. SDG-MoE는 학습 가능한 상호작용 행렬과 부호화된 메시지 전달 단계를 도입하여 전문가들이 최종 집계 전에 서로 '토론'하고 각자의 표현을 업데이트하도록 합니다. 이를 통해 기존 MoE 모델 대비 성능 향상을 달성했습니다.

🔑 시사점 및 한계

•

전문가 간 직접적인 상호작용을 통해 MoE 모델의 표현력을 강화할 수 있다는 가능성을 제시합니다.

•

'지지'와 '비판' 그래프를 활용한 구조화된 토론 과정은 전문가의 특화성을 유지하면서도 상호작용의 강도를 조절합니다.

•

본 연구는 이론적인 안정성 분석을 제공하며, 전문가 간 상호작용에 따른 계산 오버헤드가 크지 않음을 보여줍니다.

•

실험 결과는 SDG-MoE가 검증 및 외부 데이터셋에서 기존 MoE 및 다른 베이스라인 대비 우수한 성능을 보였음을 입증합니다.

PDF 보기

Made with Slashpage