본 논문은 혼합 전문가(MoE) 모델의 복잡한 구조와 이미지 분류에서의 밀집 모델에 대한 이점이 불분명한 점을 지적하며, 입력 공간의 노이즈와 이상치에 취약한 기존 MoE 모델의 한계를 극복하기 위해 이중 단계 특징 수준 클러스터링 및 의사 라벨링 기반 혼합 전문가(DFCP-MoE) 프레임워크를 제안합니다. DFCP-MoE는 입력 특징 추출, 특징 수준 클러스터링, 그리고 계산적으로 효율적인 의사 라벨링 전략으로 구성되어 있으며, 소량의 라벨링된 데이터를 활용하여 많은 양의 비라벨링된 입력 데이터에 라벨을 부여함으로써 노이즈와 이상치의 영향을 줄입니다. 또한, 잘 라벨링되고 클러스터링된 입력 데이터를 사용하여 MoE 모델을 훈련하는 조건부 end-to-end 공동 훈련 방법을 제안하여 전문가의 전문성을 향상시킵니다. 결과적으로 DFCP-MoE는 입력 공간의 다양성을 효과적으로 포착하여 경쟁력 있는 추론 결과를 달성합니다. 세 개의 벤치마크 데이터셋을 사용하여 다중 클래스 분류 작업에서 성능을 검증합니다.
