Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

¿Pueden los grandes modelos multimodales comprender escenarios agrícolas? Benchmarking con AgroMind

Created by
  • Haebom

Autor

Qingmei Li, Yang Zhang, Zurong Mai, Yuhang Chen, Shuohong Lou, Henglian Huang, Jiarui Zhang, Zhiwei Zhang, Yibin Wen, Weijia Li, Haohuan Fu, Jianxi Huang, Juepeng Zheng

Describir

Este documento presenta AgroMind, un punto de referencia integral especializado en teledetección agrícola. Para superar las limitaciones de los puntos de referencia existentes, que incluyen una diversidad limitada de conjuntos de datos y un diseño de tareas simplificado en exceso, integramos ocho conjuntos de datos públicos y un conjunto de datos agrícolas privados para construir un conjunto de evaluación de alta calidad que contiene 27.247 pares de QA y 19.615 imágenes. AgroMind cubre 13 tipos de tareas (que abarcan desde la identificación de cultivos y el monitoreo de la salud hasta el análisis ambiental) en cuatro dimensiones de tarea: percepción espacial, comprensión de objetos, comprensión de escenas e inferencia de escenas. La evaluación de 20 LMM de código abierto y cuatro modelos de código cerrado con AgroMind revela diferencias de rendimiento significativas, particularmente en inferencia espacial y reconocimiento de grano fino, con algunos LMM líderes superando el rendimiento humano. AgroMind establece un marco de evaluación estandarizado para la teledetección agrícola, exponiendo las limitaciones de dominio de los LMM y destacando desafíos importantes para futuras investigaciones. Los datos y el código están disponibles en https://rssysu.github.io/AgroMind/ .

Takeaways, Limitations

Takeaways:
AgroMind proporciona puntos de referencia completos y estandarizados para la teledetección agrícola.
Establecer una base para evaluar y mejorar objetivamente el rendimiento del LMM
Limitaciones del conocimiento del dominio de LMM y futuras direcciones de investigación (especialmente razonamiento espacial y percepción de grano fino)
Demostramos que algunos LMM pueden superar a los humanos, lo que confirma el potencial de los LMM.
Limitations:
Se necesita más investigación para comprender el alcance y la diversidad del conjunto de datos de AgroMind.
Es necesario evaluar modelos LMM más diversos.
Se necesita un análisis en profundidad para determinar la causa de las desviaciones de rendimiento para tipos de tareas específicas.
👍