Este artículo es el primero en estudiar los riesgos de seguridad del Aprendizaje de Avisos Federados (FPL), un paradigma que optimiza la comunicación y preserva la privacidad, y que aplica modelos de lenguaje de visión a gran escala, como CLIP, en clientes distribuidos. Demostramos que, cuando un cliente malicioso inyecta en la imagen de entrada activadores de ruido aprendibles visualmente imperceptibles, el aprendiz de avisos global es vulnerable a la clasificación errónea del objetivo, manteniendo al mismo tiempo una alta precisión para entradas normales. Para abordar esta vulnerabilidad, proponemos SABRE-FL, un mecanismo de defensa modular y ligero que filtra las actualizaciones de avisos envenenados mediante un detector de anomalías del espacio de incrustación entrenado sin conexión con datos fuera de distribución. SABRE-FL no requiere acceso a datos brutos ni etiquetas del cliente y se generaliza adecuadamente en diversos conjuntos de datos. Demostramos teórica y experimentalmente que los detectores basados en incrustación pueden identificar y filtrar clientes maliciosos de forma fiable. En cinco conjuntos de datos diversos y cuatro técnicas de defensa de referencia, demostramos un rendimiento experimental robusto al mejorar significativamente la precisión en comparación con todas las técnicas de defensa de referencia, manteniendo la precisión normal, lo que destaca la necesidad de un aprendizaje de avisos robusto en futuros sistemas federados.
