Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

LyS à SemEval 2025 Tâche 8 : Génération de code Zero-Shot pour l'assurance qualité tabulaire

Created by
  • Haebom

Auteur

Adri an Gude, Roi Santos-R ios, Francisco Prado-Vali no, Ana Ezquerro, Jes us Vilares

Contour

Cet article décrit notre participation à la tâche 8 (Réponse aux questions tabulaires) de SemEval 2025. Nous avons développé un pipeline « zero-shot » qui exploite des modèles de langage à grande échelle pour générer du code fonctionnel permettant d'extraire des informations pertinentes de données tabulaires à partir de questions saisies. Cette approche est un pipeline modulaire centré sur un module de génération de code principal, avec des composants supplémentaires qui améliorent la précision de l'extraction en identifiant les colonnes pertinentes et en analysant les types de données. En cas d'échec du code généré, un processus d'amélioration itératif est mis en œuvre, intégrant un retour d'erreur dans les invites de nouvelle génération afin d'en renforcer la robustesse. Nous démontrons que la génération de code « zero-shot » est une approche viable pour répondre aux questions tabulaires sans ajustement spécifique à la tâche, nous classant 33e sur 53 équipes participantes lors de la phase de test.

Takeaways, Limitations

Takeaways: Nous présentons la génération de code « zero-shot » comme une approche efficace pour répondre à des questions tabulaires. Nous démontrons le potentiel d'amélioration des performances grâce à un pipeline modulaire et un processus d'amélioration itératif basé sur le retour d'erreur.
Limitations : Classée 33e sur 53 équipes sans aucun ajustement spécifique à la tâche, ce qui indique une marge de progression. Une analyse et une gestion des erreurs plus sophistiquées, ainsi qu'une meilleure gestion des différents types de données, pourraient être nécessaires. Ce résultat démontre clairement les limites de l'approche « zero shot ».
👍