Plancraft es un conjunto de datos de evaluación multimodal para agentes LLM. Ofrece una interfaz multimodal de solo texto basada en la interfaz gráfica de usuario (GUI) de creación de Minecraft. Incluye la wiki de Minecraft para el uso de herramientas y la evaluación de la Generación Aumentada de Recuperación (RAG), así como un planificador personalizado y un Oracle Retriever para analizar diversos componentes de las arquitecturas de agentes modernas. También incluye un subconjunto de ejemplos intencionalmente irresolubles para la evaluación de decisiones, lo que proporciona tareas realistas que requieren que el agente no solo complete la tarea, sino que también decida si es solucionable. Realizamos un análisis comparativo de LLM de código abierto y de código cerrado, comparando su rendimiento y eficiencia con los planificadores personalizados. En general, observamos que LLM y VLM presentan dificultades para abordar los problemas de planificación presentados en Plancraft y ofrecemos sugerencias para mejorar sus capacidades.
