Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Cobblestone : une approche « diviser pour mieux régner » pour automatiser la vérification formelle

Created by
  • Haebom

Auteur

Saketh Ram Kasibatla, Arpan Agarwal, Yuriy Brun, Sorin Lerner, Talia Ringer, Emily First

Contour

Cet article propose Cobblestone, un nouvel outil de synthèse de preuves qui exploite un modèle de langage à grande échelle (LLM) pour améliorer l'efficacité de la vérification formelle à l'aide d'assistants de preuve comme Coq. Cobblestone génère des preuves potentielles à l'aide du LLM, qui servent ensuite à diviser le problème en parties plus petites. Il identifie automatiquement les parties prouvées avec succès et itère sur les parties restantes pour produire une preuve correcte. Malgré l'incertitude du LLM, Cobblestone garantit l'exactitude des preuves générées. Les résultats expérimentaux montrent que Cobblestone surpasse les outils de pointe existants, prouvant de nombreux théorèmes que d'autres outils basés sur le LLM ne parviennent pas à prouver. Son efficacité est démontrée par un coût d'exécution moyen de 1,25 $ et un temps d'exécution de 14,7 minutes. De plus, il peut utiliser des données externes provenant d'utilisateurs ou d'autres outils pour exploiter la structure de preuve ou les lemmes associés, prouvant jusqu'à 58 % des théorèmes. Cette étude démontre le potentiel de l'exploitation des progrès partiels et des données externes pour améliorer l'efficacité de l'automatisation de la vérification formelle.

Takeaways, Limitations_

Takeaways:
Nous montrons que la synthèse de preuves utilisant des méthodes de division et de conquête utilisant LLM peut améliorer considérablement l'efficacité de l'automatisation de la vérification formelle.
Il surmonte les limites des outils existants basés sur LLM et présente de nouvelles possibilités pour prouver davantage de théorèmes.
Nous soulignons l’importance des stratégies permettant de tirer efficacement parti des progrès partiels et des apports externes dans l’automatisation de la vérification formelle.
Fournit une méthode rentable pour automatiser la vérification formelle.
Limitations:
Cela dépend des performances de LLM, et les limitations de LLM peuvent affecter les performances de Cobblestone.
Les performances peuvent encore être limitées pour certains types de nettoyages.
La portée des ensembles de données de référence peut être limitée et une évaluation des performances sur une plus grande variété de problèmes est nécessaire.
👍