Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

PIN: A Knowledge-Intensive Dataset for Paired and Interleaved Multimodal Documents

Created by
  • Haebom

作者

Junjie Wang, Yuxiang Zhang, Minghao Liu, Yin Zhang, Yatai Ji, Weihao Xuan, Nie Lin, Kang Zhu, Zhiqiang Lin, Yiming Ren, Chunyang Jiang, Yiyao Yu, Zekun Wang, Tiezhen Wang, Wenhao Huang, Jie Fu, Quns Yuan、Bei Chen、Wenhu Chen

概要

この論文では、視覚情報と言語情報の統合を強化するために、新しいデータ形式であるPIN（Paired and INterleaved multimodal documents）を提案します。 PINは、意味的に豊富なMarkdownファイルとドキュメント全体のレイアウトをキャプチャする画像を組み合わせて、視覚的およびテキスト情報の深い統合を促進します。この形式に基づいて、英語と中国語のさまざまなWebおよび科学ソースから収集した大規模なオープンソースデータセットPIN-200M（約2億文書）とPIN-14M（約1400万文書）を公開します。データセットには詳細な統計分析と品質信号が含まれており、研究者が特定のタスクに適したデータを簡単にフィルタリングして選択できるようにします。これは、知識集約型大規模マルチモーダルモデル（LMM）の事前訓練戦略と開発に関する新しい研究の基盤を提供します。

Takeaways、Limitations

•
Takeaways：
◦
新しいマルチモーダルデータフォーマットであるPINを提案し、視覚およびテキスト情報の詳細な統合を可能にします。
◦
大規模オープンソースマルチモーダルデータセットPIN-200MおよびPIN-14Mを提供することによるLMM研究に貢献
◦
詳細な統計分析と品質シグナルを提供することでデータ利用性を向上
◦
強化されたLMM事前訓練戦略と知識集約型LMMの開発に貢献する可能性を提示
•
Limitations：
◦
データセットの品質と多様性の追加の評価が必要な場合があります。
◦
PIN形式の一般的な採用と互換性に関するさらなる研究が必要になるかもしれません。
◦
特定の言語（英語と中国語）に偏ったデータセットの構成を検討する必要があるかもしれません。
👍
Made with Slashpage