每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成，并以非盈利为基础运营。
论文版权归作者及相关机构所有，分享时请注明出处。

BAP v2：Minecraft 对话中指令遵循的增强任务框架

Created by
  • Haebom

作者

Prashant Jayannavar、Liliang Ren、Marisa Hudspeth、Risham Sidhu、Charlotte Lambert、Ariel Cordes、Elizabeth Kaplan、Anjali Narayan-Chen、Julia Hockenmaier

大纲

本文重点关注“建造者行为预测”（BAP），它是“我的世界”（Minecraft）协作建造任务（MCBT）的一个子任务，旨在提升人工智能代理的语言理解、环境感知和物理世界行为。为了应对现有 BAP 在评估、训练数据和建模方面的挑战，我们提出了 BAP v2。BAP v2 提供了改进的评估基准、更公平、更具洞察力的指标以及空间推理能力，这些都是影响性能的关键因素。为了解决数据稀缺问题，我们生成了各种类型的合成 MCBT 数据，并利用它们来增强模型的空间能力。我们提出了一个全新的 SOTA 模型 Llama-CRAFTS，它利用改进的输入表示在 BAP v2 中实现了 53.0 的 F1 分数。虽然这比之前的工作提高了 6 个百分点，但它仍然凸显了该任务的挑战，并为未来的研究奠定了基础。

Takeaways，Limitations

•
Takeaways：
◦
BAP v2 解决了 MCBT 评估的挑战，并提供了更公平、更准确的基准。
◦
生成合成数据解决了数据短缺的问题，有助于提高模型的空间推理能力。
◦
Llama-CRAFTS 模型比现有的 SOTA 模型提高了性能，并为评估 LLM 的空间能力提供了有用的指标。
◦
这表明提高空间推理能力是未来研究的一个重要方向。
•
Limitations：
◦
Llama-CRAFTS 模型在 BAP v2 上仍未达到完美的性能，需要进一步的性能提升。
◦
我们必须考虑合成数据的局限性以及与真实世界数据的差异。
◦
由于纯文本法学硕士的局限性，整合来自各种模式（视觉、听觉等）的信息可能是未来的研究方向。
👍
Made with Slashpage