본 논문은 대규모 언어 모델(LLM) 학습 시 데이터 중복으로 인한 성능 저하 및 개인 정보 보호 문제를 해결하기 위해, 신뢰할 수 있는 제3자 없이 연합 학습 환경에서 샘플 재가중치를 통해 소프트 중복 제거를 수행하는 최초의 프레임워크인 Federated ReWeighting (FedRW)를 제안합니다. FedRW는 안전한 다자간 연산(MPC)을 통한 안전한 빈도 인식 재가중치 프로토콜과 효율성 및 확장성을 위한 병렬 오케스트레이션 전략을 핵심으로 합니다. 훈련 중 FedRW는 전역 샘플 빈도를 사용하여 개별 손실 기여도를 조정하는 적응형 재가중치 메커니즘을 활용하여 일반화 및 견고성을 향상시킵니다.
