En este documento, llevamos a cabo un experimento de depuración de programas dirigido a dos grupos de programadores (grupo de acceso LLM y grupo de acceso no LLM) para verificar la eficacia de la reparación automática de programas (APR) utilizando modelos de lenguaje a gran escala (LLM). Verificamos formalmente la corrección de las correcciones propuestas utilizando un entorno de prueba de programas y establecimos preguntas de investigación, elementos de respuesta específicos e indicadores de medición utilizando un enfoque de objetivo-consulta-métrica. A pesar del tamaño limitado de la muestra, dimos el primer paso para aclarar el papel de los LLM en la corrección de errores del programa. Los resultados experimentales mostraron resultados diferentes de las expectativas de la depuración basada en IA y el APR existentes. Además, presentamos una metodología detallada para experimentos de depuración utilizando LLM, análisis del comportamiento del programador mediante grabación de sesión completa, definición de siete patrones de uso de LLM y consejos probados para utilizar eficazmente LLM en la depuración y el APR.
