모델-이질적 연합 학습(Hetero-FL)은 개인 데이터를 로컬에 유지하면서 이질적 모델로부터 지식을 통합하는 능력으로 주목받고 있다. 클라이언트로부터 지식을 더 잘 통합하기 위해, 앙상블 증류는 전역 통합 후 전역 모델의 성능을 향상시키기 위해 널리 사용되는 효과적인 기술이다. 그러나 Hetero-FL과 앙상블 증류를 단순히 결합하는 것은 항상 유망한 결과를 내지 못하고, 학습 과정을 불안정하게 만들 수 있다. 이는 기존 방법들이 주로 모델에 무관한 소프트맥스 예측을 사용하는 logit 증류에 초점을 맞추고, 이질적 모델에서 발생하는 지식 편향을 보상하지 못하기 때문이다. 본 논문에서는 이러한 문제점을 해결하기 위해, FedFD라는 모델-이질적 연합 학습을 위한 안정적이고 효율적인 Feature Distillation을 제안한다. FedFD는 직교 투영을 통해 정렬된 특징 정보를 통합하여 이질적 모델로부터 지식을 더 잘 통합할 수 있다. 특히, 새로운 특징 기반 앙상블 연합 지식 증류 패러다임을 제안한다. 서버의 전역 모델은 각 클라이언트 측 모델 아키텍처에 대해 특징을 개별적으로 정렬하기 위한 투영 레이어를 유지해야 한다. 직교 기술은 이질적 모델로부터의 지식 편향을 완화하고, 증류된 지식을 최대화하기 위해 투영 레이어를 재매개변수화하는 데 사용된다. 광범위한 실험 결과, FedFD가 최첨단 방법들보다 우수한 성능을 달성했다.
