Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

SMART-Editor: Un marco multiagente para la edición de diseños con integridad estructural y de forma similar a la humana

Created by
  • Haebom

Autor

Ishani Mondal, Meera Bharadwaj, Ayush Roy, Aparna Garimella, Jordan Lee Boyd-Graber

Describir

SMART-Editor es un marco para la maquetación constructiva y la edición de contenido tanto en entornos estructurados (pósteres, sitios web) como no estructurados (imágenes naturales). A diferencia de los modelos existentes que realizan edición local, SMART-Editor mantiene la consistencia global mediante dos estrategias: Reward-Refine, un método de refinamiento guiado por recompensas en tiempo de inferencia, y RewardDPO, un enfoque de optimización de preferencias en tiempo de entrenamiento que utiliza pares de maquetación alineados con las recompensas. Para evaluar el rendimiento del modelo, presentamos SMARTEdit-Bench, un punto de referencia que abarca escenarios de edición en cascada multidominio. SMART-Editor supera a modelos de referencia robustos como InstructPix2Pix y HIVE: RewardDPO logra mejoras de rendimiento de hasta un 15 % en entornos estructurados, y Reward-Refine demuestra su ventaja en imágenes naturales. Las evaluaciones automáticas y humanas confirman el valor de los esquemas basados en recompensas para generar ediciones semánticamente consistentes y visualmente alineadas.

Takeaways, Limitations

Takeaways:
Presenta un marco eficaz para el diseño constructivo y la edición de contenidos tanto en áreas estructuradas como no estructuradas.
Mantiene la consistencia global y produce resultados de edición de alta calidad a través de dos estrategias: Recompensa-Refinar y RecompensaDPO.
Ofrecemos un nuevo punto de referencia, SMARTEdit-Bench, que incluye escenarios de edición en cascada y de múltiples dominios.
Supera a los modelos existentes y RewardDPO en particular muestra mejoras de rendimiento significativas en entornos estructurados.
Demostramos experimentalmente la importancia de la planificación basada en recompensas.
Limitations:
Es posible que se necesiten más investigaciones sobre la escala y diversidad de SMARTEdit-Bench.
El rendimiento puede ser limitado para ciertos tipos de ediciones o dominios.
Es posible que se requiera un análisis más profundo para determinar la interacción y optimización de Reward-Refine y RewardDPO.
Se necesita más investigación sobre el rendimiento de la generalización y la solidez ante diferentes tipos de edición.
👍