Los Modelos de Lenguaje a Gran Escala (LLM) se utilizan ampliamente para la generación de código, pero representan un grave riesgo de seguridad cuando se aplican en producción debido a las alucinaciones de paquetes, que recomiendan paquetes inexistentes. Estas alucinaciones pueden ser explotadas por atacantes maliciosos para registrar paquetes maliciosos, lo que podría derivar en ataques a la cadena de suministro de software. Este estudio destaca la importancia de probar los LLM para detectar alucinaciones de paquetes con el fin de mitigarlas y defenderse de posibles ataques. Para ello, proponemos HFUZZER, un novedoso marco de fuzzing basado en sintaxis. HFUZZER emplea técnicas de fuzzing y genera tareas de codificación suficientes y diversas, induciendo al modelo a inferir una gama más amplia de información razonable basada en la sintaxis. Además, extrae la sintaxis de la información del paquete o de las tareas de codificación para garantizar la relevancia de la sintaxis y el código, mejorando así la relevancia de las tareas y el código generados. Los resultados de la evaluación de HFUZZER en múltiples LLM mostraron que se indujeron alucinaciones de paquetes en todos los modelos seleccionados. En comparación con los marcos de fuzzing de mutaciones, HFUZZER identificó 2,60 veces más paquetes alucinados únicos y generó una mayor variedad de tareas. Además, al probar GPT-4o, HFUZZER descubrió 46 paquetes alucinados únicos. Un análisis posterior reveló que, para GPT-4o, LLM presenta alucinación de paquetes no solo al generar código, sino también al asistir en la configuración del entorno.
