每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成，并以非盈利为基础运营。
论文版权归作者及相关机构所有，分享时请注明出处。

AtomWorld：评估晶体材料大型语言模型空间推理的基准

Created by
  • Haebom

作者

吕涛雨泽、Alexander Chen、谢风宇、吴初、Jeffrey Meng、周东展、Bram Hoex、钟志成、谢童

大纲

虽然大规模语言模型 (LLM) 在文本推理方面表现出色，但其结构理解和空间推理能力在材料科学等领域的应用却受到限制，因为这些领域的应用需要深入了解三维原子结构。为了突破这些限制，本研究提出了基于晶体学信息文件 (CIF) 的 AtomWorld 基准测试。AtomWorld 通过结构编辑、CIF 识别和基于属性的建模等任务来评估 LLM 的核心推理能力，并表明当前模型在结构理解和空间推理方面始终存在不足。

Takeaways, Limitations

•
AtomWorld 基准测试提供了一个标准化工具，用于评估 LLM 的原子级建模能力。
•
目前，法学硕士甚至对 CIF 格式的基本理解都很困难，并且经常在重组时犯错误。
•
这些错误会导致后续分析和材料研究中的累积错误。
•
AtomWorld 为 LLM 在材料研究和自动化科学工作流程中的应用提供了基础。
•
当前的模型在结构理解和空间推理能力方面存在局限性，需要进一步发展。
👍
Made with Slashpage