每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成，并以非盈利为基础运营。
论文版权归作者及相关机构所有，分享时请注明出处。

法学硕士能否以无需训练的方式推理非文本模态？基于上下文表征学习的案例研究

Created by
  • Haebom

作者

张天乐、方万龙、吴宗宪、Paridhi Latawa、Deepak A. Subramanian、Alvin Chan

大纲

本文研究了利用外部工具和其他深度学习模型的测试时计算来提升大规模语言模型 (LLM) 的性能。现有的将非文本模态表征集成到 LLM 的方法需要成本高昂的监督学习，而我们提出的上下文内表征学习 (ICRL) 则通过小样本学习 (small-shot learning) 自适应地利用非文本模态表征。与现有的上下文学习不同，ICRL 使用底层模型 (FM) 的表征而非文本-标签对来执行多模态推理，无需进行微调。我们评估了 ICRL 在多个分子任务上的可行性，并研究了 FM 表征如何映射到 LLM、影响 ICRL 性能的因素以及 ICRL 有效性背后的机制。ICRL 是第一个将非文本模态表征集成到基于文本的 LLM 的无需学习的框架，为自适应多模态泛化提供了一个充满希望的方向。

Takeaways, Limitations

•
Takeaways：
◦
我们提出了 ICRL，这是一种无需训练即可将非文本模态表示集成到基于文本的 LLM 中的新框架。
◦
少量学习可以提高对不同模式和领域的适应性。
◦
无需微调即可进行多模式推理，从而提高效率。
◦
我们通过分子领域的实验验证了ICRL的有效性。
•
Limitations：
◦
目前，仅对分子领域进行了评估，需要进一步研究以确定其对其他领域的普遍性。
◦
需要对影响 ICRL 性能的因素进行更深入的分析。
◦
需要进一步研究与不同类型的基础模型的兼容性和性能差异。
◦
由于无学习方法的局限性，某些任务的性能可能低于基于监督学习的方法。
👍
Made with Slashpage