본 연구는 사전 훈련된 모델에서 지식 증류(KD) 프로세스 향상을 조사합니다. 분산 학습 및 연합 학습 환경에서 통신 부하 감소 및 다양한 모델 아키텍처 수용에 유리한 지식 전달의 새로운 분야입니다. 다양한 KD 기법이 사전 훈련된 모델 간 지식 전달에 사용되고 있지만, 이러한 시나리오에서 KD 적용에 대한 포괄적인 이해는 부족합니다. 본 연구는 표준 KD, 조정된 KD(최적화된 온도 및 가중치 매개변수 사용), 심층 상호 학습 및 데이터 분할 KD를 포함한 여러 KD 기법을 광범위하게 비교합니다. 각 기법에 가장 효과적인 맥락을 식별하기 위해 다양한 데이터 분포 전략에서 이러한 방법을 평가합니다. 광범위한 그리드 탐색 평가를 바탕으로 한 하이퍼파라미터 조정에 대한 자세한 검토를 통해 모델 성능 향상에 조정이 중요한 시점을 정확히 파악합니다. 본 논문은 서로 다른 데이터 분할 시나리오에 대한 최적의 하이퍼파라미터 설정을 밝히고 통신 라운드를 최소화하고 학습 프로세스를 가속화함으로써 연합 학습 개선에서 KD의 역할을 조사합니다. 현재 연구의 눈에 띄는 공백을 메움으로써, 본 연구 결과는 협업 및 연합 학습 프레임워크 내에서 사전 훈련된 모델에서 KD를 활용하기 위한 실용적인 프레임워크 역할을 합니다.
