본 논문은 연합 학습(Federated Learning, FL)에서 데이터 이질성 문제를 해결하기 위한 효과적인 전략으로 등장한 연합 프로토타입 학습(Federated Prototype Learning, FedPL)에 대해 다룹니다. 기존 FedPL 방법들은 클래스 간 프로토타입 거리를 늘려 성능 향상을 추구하지만, 이는 클래스 간 의미론적 관계를 훼손하여 모델 일반화에 악영향을 미칠 수 있습니다. 본 논문에서는 사전 훈련된 언어 모델(Pre-trained Language Model, PLM)을 활용하여 의미론적으로 풍부한 프로토타입을 생성하는 새로운 방법인 FedTSP를 제안합니다. FedTSP는 대규모 언어 모델(LLM)을 이용하여 각 클래스에 대한 세분화된 텍스트 설명을 생성하고, 이를 PLM으로 처리하여 텍스트 프로토타입을 형성합니다. 또한, 클라이언트 이미지 모델과 PLM 간의 모달리티 차이를 해소하기 위해 학습 가능한 프롬프트를 도입하여 프로토타입이 클라이언트 작업에 더 잘 적응할 수 있도록 합니다. 실험 결과, FedTSP는 데이터 이질성을 완화하고 수렴 속도를 크게 향상시키는 것을 보여줍니다.
