Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

PyVision: Visión agencial con herramientas dinámicas

Created by
  • Haebom

Autor

Shitian Zhao, Haoquan Zhang, Shaoheng Lin, Ming Li, Qilong Wu, Kaipeng Zhang, Chen Wei

Describir

Este artículo presenta PyVision, un marco interactivo multi-turno que supera las limitaciones de los modelos de lenguaje a gran escala (LLM) en el razonamiento visual. PyVision facilita la resolución de problemas de forma flexible e interpretable, permitiendo que los LLM generen, ejecuten y refinen de forma autónoma herramientas basadas en Python adaptadas a una tarea específica. Desarrollamos una taxonomía de las herramientas generadas por PyVision y analizamos su uso en diversas pruebas de rendimiento. Los resultados experimentales demuestran que PyVision logra mejoras de rendimiento consistentes, incluyendo una mejora del 7,8 % en el rendimiento de V* en GPT-4.1 y del 31,1 % en el rendimiento de VLMsAreBlind-mini en Claude-4.0-Sonnet. Esto sugiere que el uso dinámico de herramientas permite que los modelos vayan más allá de la simple creación de herramientas, lo que conduce a un razonamiento visual más autónomo.

Takeaways, Limitations

•
Takeaways:
◦
Mejoras de rendimiento en el razonamiento visual basado en LLM: el rendimiento del razonamiento visual de los modelos GPT-4.1 y Claude-4.0-Sonnet mejoró con PyVision.
◦
Presentando la posibilidad de creación y utilización de herramientas dinámicas: el LLM presenta un nuevo paradigma para crear y utilizar herramientas según sea necesario.
◦
Resolución de problemas flexible e interpretable: PyVision permite un razonamiento visual más flexible e interpretable.
◦
Potencial para el desarrollo hacia un sistema de razonamiento visual autodirigido: El LLM demuestra el potencial para evolucionar más allá del simple uso de herramientas para convertirse en un sistema más autodirigido que genera y utiliza herramientas para resolver problemas.
•
Limitations:
◦
Se necesita más investigación sobre el rendimiento de generalización de PyVision y su aplicabilidad a diversos problemas de inferencia visual.
◦
Limitaciones de escalabilidad debido a la dependencia de herramientas basadas en Python.
◦
Es necesario verificar la seguridad y confiabilidad de la herramienta generada.
◦
Estos son resultados de evaluación para modelos específicos (GPT-4.1, Claude-4.0-Sonnet) y se necesita más investigación para determinar la generalización a otros modelos.
👍
Made with Slashpage