Cet article souligne la difficulté de populariser la modélisation par programmation par contraintes (PC) en raison de son expertise exigeante. Pour y remédier, nous présentons une étude sur l'automatisation de la modélisation par PC à l'aide de modèles de langage à grande échelle (MLH). Pour pallier le manque de données d'évaluation inhérent aux études existantes, nous présentons CP-Bench, un nouveau benchmark qui englobe divers problèmes d'optimisation combinatoire. Grâce à CP-Bench, nous comparons et évaluons les performances de modélisation des MLH pour trois systèmes de modélisation par PC présentant différents niveaux d'abstraction et syntaxes. Nous évaluons systématiquement les méthodes de calcul par invite et par inférence, atteignant une précision allant jusqu'à 70 %. Nous démontrons notamment que l'utilisation d'un framework Python de haut niveau offre de meilleures performances.
