[공지사항]을 빙자한 안부와 근황 
Show more

Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

BEARCUBS: Un referente para agentes web que utilizan ordenadores

Created by
  • Haebom

Autor

Yixiao Song, Katherine Thai, Chau Minh Pham, Yapei Chang, Mazin Nadaf, Mohit Iyyer

Describir

En este artículo, presentamos BEARCUBS, un nuevo punto de referencia para evaluar la capacidad de búsqueda de información de agentes web en entornos web reales. BEARCUBS consta de 111 preguntas de búsqueda de información y, a diferencia de los puntos de referencia existentes, requiere páginas web reales y diversas interacciones intermodales (p. ej., comprensión de video, navegación 3D). Los resultados de experimentos con humanos muestran que la dificultad de las preguntas es adecuada (84,7 % de precisión), mientras que los agentes web de vanguardia muestran una precisión baja (hasta un 23,4 %). Esto enfatiza la importancia de seleccionar fuentes de información fiables y sólidas capacidades multimodales. BEARCUBS se actualizará continuamente para contribuir a la investigación de agentes web.

Takeaways, Limitations

Takeaways:
Presentamos un nuevo punto de referencia BEARCUBS para evaluar el rendimiento de los agentes web en entornos web del mundo real.
Superar las limitaciones de los puntos de referencia existentes y enfatizar la necesidad de interacción entre diversas modalidades
Identificar las causas del bajo rendimiento de los agentes web de vanguardia y sugerir formas de mejorarlos (selección de fuentes confiables, sólidas capacidades multimodales)
Proporciona puntos de referencia continuos para la investigación de agentes web
Limitations:
El número de preguntas en el índice de referencia actual (111) puede ser relativamente pequeño.
BEARCUBS requiere actualizaciones y mantenimiento constantes.
La idoneidad de los puntos de referencia debe revisarse continuamente a medida que cambia el entorno web.
👍