[공지사항]을 빙자한 안부와 근황 
Show more

Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Correcciones asistidas por IA a los comentarios de revisión de código a gran escala

Created by
  • Haebom

Autor

Chandra Maddila, Negar Ghorbani, James Saindon, Parth Thakkar, Vijayaraghavan Murali, Rui Abreu, Jingyue Shen, Brian Zhou, Nachiappan Nagappan, Peter C. Rigby

Describir

Meta procesa decenas de miles de comentarios de revisión de código cada semana. Este documento presenta el proceso y los resultados del desarrollo de Metamate for Code Review (MetaMateCR), un sistema que proporciona correcciones asistidas por IA a los comentarios de los revisores de código a gran escala. Ajustamos el modelo Llama utilizando 64 000 puntos de datos y lo implementamos en un entorno de producción después de que los resultados fuera de línea alcanzaran un nivel satisfactorio. Los resultados de la comparación con GPT-4o muestran que el modelo LargeLSFT desarrollado genera parches precisos en el 68 % de los casos, un 9 % superior al de GPT-4o, y utiliza una función Hack más reciente. Mediante pruebas de seguridad, evaluamos el impacto de las sugerencias de parches de IA en el tiempo de revisión y abordamos el retraso en el tiempo de revisión mediante mejoras de la experiencia de usuario (UX). Al implementarse en un entorno de producción, el modelo LargeLSFT alcanzó una tasa de ActionableToApplied del 19,7 %, un 9,2 % superior al de GPT-4o.

Takeaways, Limitations

Takeaways:
Demuestra la viabilidad de construir y operar eficazmente un sistema de generación automática de parches basado en IA en un entorno de revisión de código a gran escala.
Presentamos formas de aumentar la aplicabilidad práctica de los sistemas de IA a través de pruebas de seguridad y mejoras de UX.
Se logró un rendimiento superior al GPT-4o basado en el modelo Llama.
Presentación de un estudio de caso de implementación exitosa a gran escala de sistemas habilitados para IA.
Limitations:
Dado que los resultados se basan en metadatos internos, la generalización a otros entornos puede ser limitada.
El hecho de que se revelaran problemas con el diseño UX inicial durante el proceso de pruebas de seguridad sugiere que es necesario tener precaución al desarrollar sistemas similares en el futuro.
Con una relación Acción-Aplicación inferior al 20 %, la IA no genera parches de manera efectiva para todos los comentarios de revisión de código.
👍