每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成，并以非盈利为基础运营。
论文版权归作者及相关机构所有，分享时请注明出处。

合成引导预训练

Created by
  • Haebom

作者

杨子潼、张奥南、刘红、桥本龙典、Emmanuel Candes 、王冲、庞若明

大纲

合成引导预训练 (SBP) 是一种新颖的语言模型预训练方法。与专注于学习单个文档中 token 之间因果关系的传统语言模型预训练方法不同，SBP 能够对文档之间的关系进行建模，生成一个新的大规模合成数据集，并利用该数据集进行预训练。SBP 使用 1 万亿个 token 数据预训练了一个包含 30 亿个参数的模型，其性能优于简单的迭代基线模型，并且在使用 20 倍以上的独特数据的情况下，实现了比理想场景显著的性能提升。定性分析表明，合成文档并非简单地进行释义，而是从原始文档中提取核心概念，从而生成新的叙述。从贝叶斯的角度来看，这可以理解为在相关文档之间抽象共享潜在概念的过程。

Takeaways，Limitations

•
Takeaways：
◦
提出了一种利用文档间关系的新型词典学习方法。
◦
与现有方法相比，提出了高效利用数据和提高性能的可能性。
◦
通过提高合成数据的质量来提高语言模型的性能。
◦
从贝叶斯角度展示解释的可能性
•
Limitations：
◦
需要进一步验证所提出方法的泛化性能。
◦
需要进一步研究合成数据生成过程的透明度和可控性。
◦
对大型数据集和计算资源的需求
👍
Made with Slashpage