每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成，并以非盈利为基础运营。
论文版权归作者及相关机构所有，分享时请注明出处。

GRID：可扩展的、与任务无关的、基于提示的语言模型持续学习

Created by
  • Haebom

作者

Anushka Tiwari、Sayantan Pal、Rohini K. Srihari、Kaiyi Ji

大纲

基于提示的持续学习 (CL) 提供了一种参数高效的方法，用于将大规模语言模型 (LLM) 适配到任务序列。然而，大多数现有方法依赖于任务感知推理，并维护着不断增长的任务特定提示集，这导致了两大挑战：(1) 在任务无关推理下，性能相对于先前任务显著下降；(2) 随着任务序列的增长，由于提示记忆的积累，可扩展性有限。本文提出了 GRID，一个旨在应对这些挑战的集成框架。GRID 集成了一种解码机制，该机制利用代表性输入来改进回传、自动任务识别和约束解码。此外，它采用基于梯度的提示选择策略，将信息量较少的提示压缩成单一统一的表示，从而确保可扩展且内存高效的持续学习。在长序列和负迁移基准上进行的大量实验表明，GRID 提高了平均准确率和回传，实现了具有竞争力的回传，并显著降低了提示内存占用。

Takeaways，Limitations

•
Takeaways：
◦
即使在与任务无关的推理下，性能下降也比以前的任务有所改善。
◦
解决快速内存累积导致的可扩展性问题。
◦
提高平均准确度和可逆性。
◦
实现了竞争性停电。
◦
显著减少提示内存使用量。
•
Limitations：
◦
论文中未提及 Limitations。（仅从论文摘要来看未知）
👍
Made with Slashpage