Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

$\Texttt{Droid}$ : une suite de ressources pour la détection de code généré par l'IA

Created by
  • Haebom

Auteur

Daniil Orel, Indraneil Paul, Iryna Gurevych, Preslav Nakov

Contour

Dans cet article, nous présentons $\textbf{$\texttt{DroidCollection}$}$, l'ensemble de données ouvert le plus complet pour l'entraînement et l'évaluation de détecteurs de code générés par machine. $\texttt{DroidCollection}$ contient plus d'un million d'échantillons de code, sept langages de programmation, 43 sorties de modèles de codage et au moins trois domaines de codage réels. Outre des échantillons entièrement générés par l'IA, il inclut également du code co-écrit par des humains et des IA, ainsi que des échantillons antagonistes explicitement conçus pour échapper à la détection. Nous développons ensuite $\textbf{$\texttt{DroidDetect}$}$, une suite de détecteurs spécifiques aux encodeurs, entraînés sur des objectifs multitâches à l'aide de $\texttt{DroidCollection}$. Les résultats expérimentaux démontrent que les performances des détecteurs existants ne se généralisent pas au-delà de l'ensemble restreint de données d'entraînement à divers domaines de codage et langages de programmation. De plus, alors que la plupart des détecteurs sont facilement compromis par l'humanisation de la distribution de sortie à l'aide d'approches superficielles d'incitation et d'alignement, nous démontrons qu'un entraînement avec une petite quantité de données contradictoires peut facilement résoudre ce problème. Enfin, nous démontrons l'efficacité de l'apprentissage métrique et du rééchantillonnage basé sur l'incertitude pour améliorer l'entraînement des détecteurs dans des distributions potentiellement bruyantes.

Takeaways, Limitations

Takeaways:
Fournir un grand ensemble de données ouvert ($\texttt{DroidCollection}$) pour la formation et l'évaluation des détecteurs de code générés par machine.
Nous présentons un nouveau détecteur ($\texttt{DroidDetect}$) pour améliorer les performances de généralisation dans divers domaines et langages de programmation.
Une méthode permettant d’améliorer la robustesse du détecteur à l’aide d’exemples contradictoires est présentée.
Une méthode permettant d’améliorer les performances du détecteur grâce à l’apprentissage métrique et au rééchantillonnage basé sur l’incertitude est présentée.
Limitations:
Malgré la diversité des données de $\texttt{DroidCollection}$, il se peut qu'elle ne couvre pas complètement tous les domaines de codage et langages de programmation du monde réel.
Les performances du détecteur proposé dépendent de l’ensemble de données utilisé et peuvent être vulnérables à de nouveaux types de modèles de génération de code ou à des attaques adverses.
Des recherches supplémentaires sont nécessaires sur la génération d’exemples contradictoires et les stratégies de défense.
👍