Este artículo aborda el fenómeno de la "maldición de la repetición", que consiste en la generación de tokens repetidos o secuencias cíclicas en modelos de lenguaje a gran escala (LLM). Este fenómeno se ha observado ampliamente en estudios previos, pero su mecanismo subyacente no se conoce bien. Este artículo investiga el papel de las "cabezas de inducción", un tipo específico de cabeza de atención conocida por su capacidad de aprender en contexto, en la causa de este comportamiento repetitivo. En particular, nos centramos en la toxicidad de las cabezas de inducción, definiéndola como la tendencia de una cabeza a dominar el logit de salida de un modelo durante la repetición y a excluir a otras cabezas de atención de la participación en el proceso de generación. Los resultados del estudio proporcionan información importante para el diseño y el entrenamiento de LLM, e identifican a las cabezas de inducción como la principal causa de la maldición de la repetición, sugiriendo una explicación mecanicista y una estrategia de mitigación para este fenómeno. Además, proponemos una técnica de regulación de las cabezas de atención para reducir el predominio de las cabezas de inducción durante la generación y generar resultados más diversos y consistentes.
