본 논문은 이종 설계를 가진 혼합 전문가(MoE) 모델의 해석성에 대한 연구를 다룹니다. 기존의 밀집 모델에 대한 기여도 분석 방법은 희소 MoE 아키텍처의 동적 라우팅-전문가 상호작용을 포착하지 못한다는 한계를 지적하며, 이를 해결하기 위해 희소 MoE 아키텍처(Qwen 1.5-MoE, OLMoE, Mixtral-8x7B)와 밀집 모델(Qwen 1.5-7B, Llama-7B, Mixtral-7B)을 비교 분석하는 교차 수준 기여도 알고리즘을 제안합니다. 연구 결과, MoE 모델은 "중간 활성화, 후기 증폭" 패턴을 통해 계층당 37% 향상된 효율성을 달성하는데, 초기 계층은 전문가를 선별하고 후기 계층은 지식을 공동으로 다듬는 방식입니다. 또한, 공유 전문가는 일반적인 작업(개체 인식)을 처리하고, 라우팅된 전문가는 도메인 특정 처리(지리적 속성)에 특화되는 "기본-세분화" 프레임워크를 밝혀냈습니다. 주목할 점은 아키텍처의 깊이가 강건성을 결정하는데, 깊은 Qwen 1.5-MoE는 공유 전문가의 중복성을 통해 전문가 실패를 완화하는 반면(상위 10개 전문가 차단 시 지리적 작업에서 43% MRR 감소), 얕은 OLMoE는 심각한 성능 저하를 보입니다(76% 감소). 과제 민감도는 설계를 더욱 안내하는데, 핵심 민감형 과제(지리)는 집중된 전문 지식을 필요로 하고, 분산 허용형 과제(개체 속성)는 광범위한 참여를 활용합니다. 이러한 통찰력은 MoE의 해석성을 발전시키고, 효율성, 전문화 및 강건성을 균형 있게 맞추는 원리를 제공합니다.
