Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

DSO : Alignement des générateurs 3D avec les retours de simulation pour une meilleure solidité physique

Created by
  • Haebom

Auteur

Ruining Li, Chuanxia Zheng, Christian Rupprecht, Andrea Vedaldi

Contour

Cet article présente une méthode permettant de générer des objets 3D stables tout en tenant compte des contraintes physiques requises pour les applications pratiques, notamment l'autosuffisance gravitationnelle. Les méthodes existantes, qui optimisent les formes géométriques à l'aide de simulateurs physiques différentiables au moment des tests, présentent des limitations telles que la lenteur, l'instabilité et la tendance à tomber dans des optima locaux. Inspiré par des recherches existantes sur l'alignement des modèles génératifs avec un retour d'information externe, cet article propose un cadre d'optimisation par simulation directe (DSO). La DSO exploite le retour d'information d'un simulateur non différentiable pour augmenter la probabilité qu'un générateur 3D produise directement des objets 3D stables. Nous construisons un jeu de données d'objets 3D étiquetés à l'aide des scores de stabilité obtenus à partir de simulateurs physiques et affinons le générateur 3D à l'aide de l'optimisation directe des préférences (DPO) ou de notre nouvelle optimisation directe des récompenses (DRO), en utilisant les scores de stabilité comme mesure d'alignement. Les résultats expérimentaux démontrent qu'un générateur à anticipation optimisé à l'aide de la fonction objective DPO ou DRO est nettement plus rapide et plus susceptible de générer des objets stables qu'une optimisation au moment des tests. En particulier, le framework DSO peut collecter automatiquement les retours de simulation sur sa propre sortie pour améliorer le générateur 3D lui-même, sans nécessiter d'objets 3D existants pour la formation.

Takeaways, Limitations

Takeaways:
Nous présentons une méthode de génération d'objets 3D efficace et stable qui surmonte les méthodes d'optimisation du temps de test lentes et instables existantes.
Nous présentons une nouvelle approche pour adapter les modèles génératifs aux contraintes physiques du monde réel en tirant parti des commentaires de simulateurs non différentiables.
Nous proposons une nouvelle fonction objective appelée optimisation de récompense directe (DRO) pour aligner les modèles de diffusion sans préférences bidirectionnelles.
Démontre le potentiel d’auto-amélioration des modèles génératifs sans avoir besoin de données existantes.
Limitations:
Des recherches supplémentaires sont nécessaires pour déterminer la généralité de la fonction objective DRO proposée et son applicabilité à d’autres modèles génératifs.
Il est nécessaire d’analyser l’impact de la précision et des limites du simulateur physique utilisé sur les résultats.
Il est nécessaire d’évaluer les performances de généralisation pour des objets 3D de formes et de complexités diverses.
Une vérification des performances et de la stabilité dans les applications du monde réel est requise.
👍