Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

SMART-Editor : un framework multi-agents pour une édition de conception de type humain avec intégrité structurelle

Created by
  • Haebom

Auteur

Ishani Mondal, Meera Bharadwaj, Ayush Roy, Aparna Garimella, Jordan Lee Boyd-Graber

Contour

SMART-Editor est un framework pour la mise en page constructive et l'édition de contenu, tant dans les domaines structurés (affiches, sites web) que non structurés (images naturelles). Contrairement aux modèles existants qui effectuent une édition locale, SMART-Editor maintient la cohérence globale grâce à deux stratégies : Reward-Refine, une méthode d'affinement guidée par la récompense au moment de l'inférence, et RewardDPO, une approche d'optimisation des préférences au moment de l'apprentissage qui utilise des paires de mises en page alignées sur la récompense. Pour évaluer les performances du modèle, nous présentons SMARTEdit-Bench, un benchmark qui englobe des scénarios d'édition en cascade multi-domaines. SMART-Editor surpasse les modèles de référence performants tels qu'InstructPix2Pix et HIVE : RewardDPO permet des gains de performance allant jusqu'à 15 % dans les environnements structurés, et Reward-Refine démontre son avantage sur les images naturelles. Les évaluations automatiques et humaines confirment l'intérêt des schémas basés sur la récompense pour générer des modifications sémantiquement cohérentes et visuellement alignées.

Takeaways, Limitations_

•
Takeaways:
◦
Il présente un cadre efficace pour la mise en page constructive et l'édition de contenu dans les domaines structurés et non structurés.
◦
Il maintient la cohérence globale et produit des résultats d'édition de haute qualité grâce à deux stratégies : Reward-Refine et RewardDPO.
◦
Nous fournissons un nouveau benchmark, SMARTEdit-Bench, qui inclut des scénarios d'édition multi-domaines en cascade.
◦
Il surpasse les modèles existants, et RewardDPO en particulier montre des améliorations de performances significatives dans les paramètres structurés.
◦
Nous démontrons expérimentalement l’importance de la planification basée sur les récompenses.
•
Limitations:
◦
Des recherches supplémentaires pourraient être nécessaires sur l’échelle et la diversité de SMARTEdit-Bench.
◦
Les performances peuvent être limitées pour certains types de modifications ou de domaines.
◦
Une analyse plus approfondie peut être nécessaire pour déterminer l’interaction et l’optimisation de Reward-Refine et RewardDPO.
◦
Des recherches supplémentaires sont nécessaires sur les performances de généralisation et la robustesse à différents types d’édition.
👍
Made with Slashpage