연합 학습(FL)에서의 백도어 공격 연구가 증가하고 있지만, 평가가 표준화되지 않고 신뢰할 수 없는 문제가 있다. 연구 간의 평가 설정 불일치와 비현실적인 위협 모델 의존, 그리고 코드상의 오류로 인해 성능이 과장될 수 있다. BackFed는 현실적인 FL 환경을 반영하는 공통 평가 프레임워크를 통해 공격과 방어를 통합하여 FL 백도어 평가를 표준화하고 스트레스 테스트하도록 설계된 벤치마크이다. 세 개의 데이터셋과 세 개의 아키텍처를 사용하여 기존 방법들의 한계를 드러냈다. 악의적인 클라이언트는 과도한 훈련 시간과 계산량을 필요로 하고, 방어 기법은 심각한 정확도 저하 또는 집계 오버헤드를 발생시켰다. BackFed는 FL 백도어 연구의 신뢰할 수 있는 발전을 위한 엄격하고 공정한 평가 프레임워크로 제시되었다.
