Este artículo propone AnomalyControl, un novedoso marco de síntesis de anomalías, para superar las deficiencias de los métodos existentes de síntesis de anomalías de texto a imagen. Los métodos existentes se basan exclusivamente en información textual o en características visuales de alineación aproximada, lo que impide capturar adecuadamente las características complejas de las anomalías. AnomalyControl utiliza características semánticas intermodales como señales de guía, codificando anomalías generalizadas a partir de indicaciones de referencia de texto a imagen. Específicamente, utiliza pares de indicaciones no coincidentes (indicaciones de referencia de texto a imagen e indicaciones de texto objetivo) y aprovecha el módulo de modelado semántico intermodal (CSM) y el mecanismo de atención de mejora de anomalías a semántica (ASEA) para centrarse en patrones visuales sutiles de anomalías, mejorando el realismo y la relevancia contextual de las características de anomalía generadas. Finalmente, el adaptador de mapa semántico (SGA) utiliza características semánticas intermodales como información previa para codificar señales de guía efectivas para un proceso de síntesis apropiado y controlable. Los resultados experimentales demuestran que AnomalyControl supera los métodos existentes y logra resultados de última generación en la síntesis de anomalías y tareas posteriores.