본 논문은 이종 설계를 가진 Mixture-of-Experts (MoE) 모델의 해석성에 대한 연구를 다룬다. 기존의 밀집 모델에 대한 기여도 분석 방법은 희소 MoE 구조의 동적 라우팅-전문가 상호 작용을 포착하지 못한다는 한계를 지닌다. 이를 해결하기 위해, 연구진은 희소 MoE 구조(Qwen 1.5-MoE, OLMoE, Mixtral-8x7B)와 밀집 모델(Qwen 1.5-7B, Llama-7B, Mistral-7B)을 비교 분석하는 계층 간 기여도 분석 알고리즘을 제안한다. 실험 결과, MoE 모델은 "중간 활성화, 후기 증폭" 패턴을 통해 층당 37% 높은 효율성을 달성한다는 것을 보여준다. 초기 층은 전문가를 선별하고, 후기 층은 지식을 공동으로 정제한다. 추가 분석을 통해 공유 전문가는 일반적인 작업(개체 인식)을 처리하고, 라우팅된 전문가는 도메인 특정 처리(지리적 속성)에 특화되는 "기본-정제" 프레임워크를 밝혀냈다. 주목할 만한 점은, 아키텍처의 깊이가 견고성을 결정한다는 것이다. 깊은 Qwen 1.5-MoE는 공유 전문가의 중복성을 통해 전문가 실패를 완화하지만, 얕은 OLMoE는 심각한 성능 저하를 보인다. 또한 작업 민감도는 설계에 대한 지침을 제공하며, 핵심에 민감한 작업(지리)은 집중된 전문 지식을 필요로 하고, 분산에 내성이 있는 작업(개체 속성)은 광범위한 참여를 활용한다. 이러한 통찰력은 MoE의 해석성을 발전시키고, 효율성, 전문화 및 견고성의 균형을 맞추는 원리를 제공한다.
