每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成,并以非盈利为基础运营。
论文版权归作者及相关机构所有,分享时请注明出处。

ChartCards:用于多任务图表理解的图表元数据生成框架

Created by
  • Haebom

作者

吴一凡、严陆涛、沉雷贤、梅一男、王剑男、罗雨雨

大纲

使用多模态大型语言模型 (MLLM) 进行图表理解提供了新的机遇,但获取用于特定任务微调的高质量数据集仍然具有挑战性。为了解决这个问题,本文提出了 ChartCards,一个集成的图表元数据生成框架。ChartCards 系统地整合了各种图表信息,包括数据表、可视化代码、视觉元素和多维语义说明,使单个图表能够支持多个下游任务,例如文本到图表的搜索、图表摘要、图表到表格的转换、图表描述和图表问答。基于 ChartCards,我们构建了 MetaChart,这是一个大规模、高质量的数据集,包含 10,862 个数据表、85,000 个图表和 170,000 个高质量图表说明。基于 MetaChart 对六个模型进行微调,使所有任务的性能平均提高了 5%,其中文本到图表搜索(Long-CLIP 提高了 17%)和图表到表格转换(Llama 3.2-11B 提高了 28%)的性能提升尤为显著。

Takeaways, Limitations

Takeaways:
通过集成的图表元数据生成框架支持各种图表理解任务。
通过构建 MetaChart 数据集来提高模型性能并提供新的数据集。
文本到图表的搜索和图表到表格的转换操作的性能显著提高。
Limitations:
论文中没有指定Limitations。
👍