En este artículo, estudiamos la vulnerabilidad de los modelos de lenguaje a gran escala (LLM) a las amenazas de hardware, especialmente a los ataques de inversión de bits (BFA). Si bien trabajos previos afirman que las arquitecturas basadas en transformadores son más robustas contra los BFA, demostramos que incluso unas pocas inversiones de bits pueden degradar gravemente el rendimiento de los LLM con miles de millones de parámetros. Para abordar este problema, proponemos AttentionBreaker, un novedoso marco que explora eficientemente el espacio de parámetros de los LLM para identificar parámetros importantes, y GenBFA, una estrategia de optimización evolutiva que encuentra los bits más significativos. Los resultados experimentales demuestran que AttentionBreaker expone una grave vulnerabilidad de los LLM, donde incluso unas pocas inversiones de bits pueden colapsar por completo el rendimiento del modelo.
