Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

CAD2DMD-SET: Herramienta de generación sintética de conjuntos de datos de modelos CAD de dispositivos de medición digital para el ajuste fino de modelos de visión y lenguaje de gran tamaño.

Created by
  • Haebom

Autor

João Valente, Atabak Dehban, Rodrigo Ventura

Describir

Este artículo propone CAD2DMD-SET, una herramienta de generación de datos sintéticos, para abordar el desafío real de los modelos de visión-lenguaje (LVLM) a gran escala, que presentan dificultades para leer valores de dispositivos de medición digital (DMD). CAD2DMD-SET aprovecha modelos CAD 3D, renderizados avanzados y síntesis de imágenes de alta fidelidad para generar un conjunto de datos DMD sintéticos diverso y etiquetado con VQA, junto con un conjunto de validación, DMDBench, para evaluar las restricciones del mundo real. Las evaluaciones de tres LVLM de última generación demuestran mejoras significativas en el rendimiento de los modelos entrenados con CAD2DMD-SET, con InternVL logrando un aumento del 200 % en el rendimiento. CAD2DMD-SET se publicará en código abierto en el futuro.

Takeaways, Limitations

Takeaways:
Presentamos CAD2DMD-SET, una herramienta de generación de datos sintéticos que contribuye a mejorar el rendimiento de la lectura de valores DMD de LVLM.
Generar y evaluar conjuntos de datos que tengan en cuenta los desafíos del mundo real (ruido, oclusión, puntos de vista extremos, desenfoque de movimiento).
Se demostró eficacia al mejorar sustancialmente el rendimiento de los LVLM de última generación (mejora del 200 % para InternVL).
Presentar la posibilidad de utilización por parte de la comunidad investigadora a través de la futura divulgación de código abierto.
Limitations:
Actualmente, CAD2DMD-SET no es de código abierto en el momento de su publicación.
La escala de DMDBench (1000 imágenes) puede ser relativamente pequeña.
Se necesita más investigación sobre el rendimiento de la generalización en diferentes tipos y entornos de DMD.
👍