Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

$\Texttt{Droid}$: Un conjunto de recursos para la detección de código generado por IA

Created by
  • Haebom

Autor

Daniil Orel, Indraneil Paul, Iryna Gurevych, Preslav Nakov

Describir

En este artículo, presentamos $\textbf{$\texttt{DroidCollection}$}$, el conjunto de datos abierto más extenso para entrenar y evaluar detectores de código generados por máquinas. $\texttt{DroidCollection}$ contiene más de un millón de muestras de código, siete lenguajes de programación, 43 salidas de modelos de codificación y al menos tres dominios de codificación del mundo real. Además de muestras completamente generadas por IA, también incluye código coautorado por humanos e IA y muestras adversarias diseñadas explícitamente para evadir la detección. Posteriormente, desarrollamos $\textbf{$\texttt{DroidDetect}$}$, un conjunto de detectores específicos del codificador entrenados en objetivos multitarea utilizando $\texttt{DroidCollection}$. Los resultados experimentales demuestran que el rendimiento de los detectores existentes no se generaliza más allá del estrecho conjunto de datos de entrenamiento a diversos dominios de codificación y lenguajes de programación. Además, si bien la mayoría de los detectores se ven fácilmente comprometidos al humanizar la distribución de salida mediante enfoques superficiales de incitación y alineación, demostramos que el entrenamiento con una pequeña cantidad de datos adversarios puede solucionar fácilmente este problema. Finalmente, demostramos la eficacia del aprendizaje métrico y el remuestreo basado en la incertidumbre para mejorar el entrenamiento de detectores en distribuciones potencialmente ruidosas.

Takeaways, Limitations

Takeaways:
Proporcionar un gran conjunto de datos abiertos ($\texttt{DroidCollection}$) para entrenar y evaluar detectores de código generados por máquina.
Presentamos un nuevo detector ($\texttt{DroidDetect}$) para mejorar el rendimiento de generalización en varios dominios y lenguajes de programación.
Se presenta un método para mejorar la robustez del detector utilizando ejemplos adversarios.
Se presenta un método para mejorar el rendimiento del detector a través del aprendizaje métrico y el remuestreo basado en la incertidumbre.
Limitations:
A pesar de la diversidad de datos de $\texttt{DroidCollection}$, es posible que no cubra por completo todos los dominios de codificación y lenguajes de programación del mundo real.
El rendimiento del detector propuesto depende del conjunto de datos utilizado y puede ser vulnerable a nuevos tipos de modelos de generación de código o ataques adversarios.
Se necesita más investigación sobre la generación de ejemplos adversarios y estrategias de defensa.
👍