Este artículo estudia un método para controlar determinísticamente el lenguaje de generación de un modelo de lenguaje multilingüe (LLM) a gran escala en un entorno de disparo cero. Investigamos si el lenguaje de generación de un LLM puede controlarse durante la inferencia aprovechando las características del autocodificador disperso (SAE), cuya correlación con el comportamiento interpretable del modelo se conoce en estudios previos. Utilizamos SAE preentrenados de los flujos residuales de Gemma-2B y Gemma-9B para identificar características cuyas activaciones difieren significativamente entre cuatro idiomas objetivo: inglés, chino, japonés, español y francés. Al modificar solo una característica SAE en una sola capa de transformador, logramos un cambio de idioma controlado con una tasa de éxito de hasta el 90% según la clasificación de idiomas de FastText, manteniendo al mismo tiempo la fidelidad semántica medida por la similitud de LaBSE. Nuestro análisis muestra que el control del lenguaje es más efectivo en las capas de transformador medias y tardías, y se ve amplificado por cabezas de atención específicas que se asocian desproporcionadamente con características SAE sensibles al lenguaje. Estos resultados demuestran el potencial de la dirección de características dispersas como un mecanismo liviano e interpretable para la generación multilingüe controlada.
