每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成，并以非盈利为基础运营。
论文版权归作者及相关机构所有，分享时请注明出处。

RadialRouter：高效、稳健的大型语言模型路由的结构化表示

Created by
  • Haebom

作者

金瑞涵、邵鹏鹏、文正奇、吴金洋、冯明宽、张帅、陶建华

大纲

本文提出了一种路由技术，该技术能够在众多大规模语言模型 (LLM) 中高效地为特定任务选择最优的 LLM。为了解决现有方法中用户查询与 LLM 特征之间缺乏关联的问题，我们提出了一个名为 RadialRouter 的全新框架。RadialRouter 采用基于轻量级 Transformer 的主干网络，并采用名为 RadialFormer 的径向架构来阐明查询与 LLM 的关系，并根据 RadialFormer 的最终状态选择最优 LLM。我们通过实现一个结合 Kullback-Leibler 散度和查询-查询对比损失的目标函数来增强鲁棒性。RouterBench 实验表明，我们的方法在平衡场景下比现有路由方法性能提升 9.2%，在成本优先场景下比现有路由方法性能提升 5.8%，这证明了其通过适应性能成本权衡和动态 LLM 池的实用性。

Takeaways, Limitations

•
Takeaways：
◦
介绍 RadialRouter，一个基于 RadialFormer 的新型 LLM 路由框架。
◦
与现有方法相比，表现出更高的性能和成本效益（基于 RouterBench）
◦
适应各种性能成本权衡和动态 LLM 池
◦
我们提出了一种有效学习查询和 LLM 特征之间相关性的方法。
•
Limitations：
◦
依赖于 RouterBench 数据集。泛化性能需要在其他数据集上进行验证。
◦
需要进一步分析RadialFormer的结构复杂性和计算成本。
◦
需要进一步研究其在实际商业环境中的适用性和可扩展性。
👍
Made with Slashpage