Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Découverte de structures algébriques cachées via des transformateurs avec un GRPO à faisceau sensible au rang

Created by
  • Haebom

Auteur

Jaeha Lee, Gio Huh, Ning Su, Tony Yue YU

Contour

Cet article explore la résolution de problèmes de décomposition polynomiale multivariable à l'aide du modèle Transformer. Bien que largement utilisée en sciences et en ingénierie, la décomposition polynomiale est réputée pour sa complexité NP et requiert une précision et une perspicacité élevées. Cette étude développe un pipeline de génération de données synthétiques permettant un contrôle précis de la complexité du problème et entraîne un modèle Transformer par apprentissage supervisé pour évaluer le comportement de mise à l'échelle et les performances de généralisation. De plus, nous proposons l'optimisation des politiques relatives groupées par faisceau (BGRPO), une méthode d'apprentissage par renforcement prenant en compte la hiérarchie et adaptée aux problèmes algébriques complexes. Le réglage fin à l'aide de BGRPO améliore la précision et réduit la largeur du faisceau jusqu'à la moitié, réduisant ainsi la charge de travail d'inférence d'environ 75 %. De plus, le modèle proposé surpasse Mathematica en matière de simplification polynomiale.

Takeaways, Limitations

Takeaways:
Nous montrons que le modèle Transformer peut être appliqué à la découverte de motifs latents non linéaires et à la décomposition polynomiale multivariée, ce qui est un problème NP-difficile.
Nous présentons une méthode permettant de réduire efficacement la quantité de calcul d'inférence grâce à l'algorithme BGRPO.
Atteint des performances supérieures à celles du Mathematica traditionnel dans les tâches de simplification polynomiale.
Fournit un pipeline de génération de données synthétiques qui peut contrôler la complexité des problèmes de décomposition polynomiale.
Limitations:
Les évaluations de performance ont principalement été menées sur des données synthétiques, et les performances de généralisation sur des données réelles nécessitent une vérification supplémentaire.
Les performances de l’algorithme BGRPO peuvent dépendre du type de problème et des paramètres spécifiques.
Les performances sur des polynômes très complexes nécessitent des études plus approfondies.
👍