본 논문은 연합 학습에서 중요한 과제인 협업적 공정성에 대해, 특히 기존 접근 방식에서 간과하는 불균형 공변량 이동이라는 실제적이고 복잡한 이질성 문제를 다룹니다. 이를 위해 이질성 환경에 대한 이론적 분석을 제공하고, 정확한 예측과 협업적 공정성 간의 균형을 맞추는 간단하면서도 효과적인 접근 방식인 FedAKD(Federated Asynchronous Knowledge Distillation)를 제안합니다. FedAKD는 클라이언트 업데이트와 서버 업데이트로 구성됩니다. 클라이언트 업데이트에서는 정확하게 예측된 샘플은 클라이언트 간에 유사한 특징 분포를 보이는 반면, 잘못 예측된 샘플은 상당한 변동성을 보인다는 사실에 기반한 새로운 비동기식 지식 증류 전략을 도입합니다. 이를 통해 불균형 공변량 이동이 주로 잘못 분류된 샘플에서 발생한다는 점을 활용하여, 먼저 기존의 지식 증류를 적용하여 글로벌 모델을 고정한 상태로 클라이언트 모델을 업데이트하고, 그 다음 정확하게 예측된 높은 신뢰도의 샘플을 선택하여 클라이언트 모델을 고정한 상태로 글로벌 모델을 업데이트합니다. 서버 업데이트는 단순히 모든 클라이언트 모델을 집계합니다. 또한 FedAKD의 수렴에 대한 이론적 증명을 제공하며, FashionMNIST, CIFAR10과 같은 공개 데이터셋과 실제 의료 데이터셋(EHR)에 대한 실험 결과를 통해 FedAKD가 고도로 이질적인 데이터 분포 하에서도 협업적 공정성을 크게 향상시키고, 예측 정확도를 높이며, 클라이언트 참여를 증진시킨다는 것을 보여줍니다.
