본 논문은 이종 모델 연합 학습(Hetero-FL)에서의 지식 집계를 개선하기 위해 특징 증류(Feature Distillation) 기반의 새로운 프레임워크인 FedFD를 제안합니다. 기존의 로짓 증류 방식은 이종 모델에서 발생하는 지식 편향을 보정하지 못하는 한계가 있는데, FedFD는 직교 투영을 통해 각 클라이언트 모델의 특징을 정렬하여 이를 해결합니다. 서버의 글로벌 모델은 각 클라이언트 모델 아키텍처에 대한 투영 레이어를 유지하여 특징을 개별적으로 정렬하고, 직교 기법을 사용하여 투영 레이어를 재매개변수화함으로써 지식 편향을 완화하고 증류된 지식을 극대화합니다. 실험 결과, FedFD는 기존 최첨단 방법보다 우수한 성능을 달성함을 보여줍니다.
