Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Aprendizaje de refuerzo integrado en herramientas para búsqueda profunda en repositorios

Created by
  • Haebom

Autor

Zexiong Ma, Chao Peng, Qunhong Zeng, Pengfei Gao, Yanzhen Zou, Bing Xie

Describir

Este artículo aborda la localización de problemas de software, el proceso de identificar las ubicaciones del código que requieren modificaciones para resolverlos. La brecha semántica entre las descripciones de problemas en lenguaje natural y el código defectuoso requiere un razonamiento complejo de varios pasos mediante las dependencias del código. Los agentes existentes basados en LLM intentan abordar este problema integrando herramientas de búsqueda en repositorios, pero esto se traduce en una tarea compleja conocida como "Búsqueda Profunda en Repositorios", que requiere que los LLM aprovechen eficazmente múltiples herramientas de búsqueda en repositorios a lo largo del proceso de inferencia y exploración. Para abordar este desafío, este artículo presenta ToolTrain, un marco de entrenamiento de integración de herramientas en dos pasos que combina el ajuste fino supervisado con muestreo de rechazo y el aprendizaje de refuerzo integrado en herramientas. Los resultados experimentales demuestran que los modelos entrenados con ToolTrain alcanzan un rendimiento de vanguardia, con el modelo 32B superando a Claude-3.7 en la localización a nivel de función. Además, demostramos que un mejor rendimiento de la localización se traduce en una mejor resolución de problemas de principio a fin, lo que demuestra que el entrenamiento para la localización de problemas es una estrategia viable y eficaz para mejorar el desarrollo automatizado de software.

Takeaways, Limitations

Takeaways:
Demostramos que el marco ToolTrain puede mejorar significativamente el rendimiento de la localización de problemas de software al mejorar la capacidad de aprovechar las herramientas de búsqueda de repositorios de LLM.
El modelo 32B supera a Claude-3.7, lo que sugiere el potencial de la localización de problemas basada en LLM.
Demostramos la eficacia de la capacitación en localización de problemas al demostrar que un mejor desempeño de localización conduce a un mejor desempeño de resolución de problemas de extremo a extremo.
Presentamos una nueva estrategia para mejorar el desarrollo de software automatizado.
Limitations:
Se necesita más investigación sobre el rendimiento de generalización del marco ToolTrain y su aplicabilidad a varios proyectos de software.
Los resultados se centran en un tamaño específico de LLM (32B) y hay una falta de evaluación del desempeño para LLM de otros tamaños.
Existe la posibilidad de sesgo de rendimiento dependiendo de las características del conjunto de datos experimentales.
Se necesita una evaluación más profunda para garantizar la robustez frente a bases de código complejas o múltiples lenguajes de programación.
👍