Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

ICL-Router: In-Context Learned Model Representations for LLM Routing

Created by
  • Haebom

作者

Chenxu Wang, Hao Li, Yiqun Zhang, Linyao Chen, Jianhao Chen, Ping Jian, Peng Ye, Qiaosheng Zhang, Shuyue Hu

概要

大規模言語モデル（LLM）はしばしば相互補完的な強みを示しています。モデル ルーティングは、候補モデル プールから各クエリを最適なモデルに動的に渡すことで、これらの強みを活用します。本論文では,モデルの機能を示すために文脈内ベクトルを用いる新しいルーティング方法を提案する。この方法は、クエリーを埋め込み、ベクトルに投影する 2 つのステップに進みます。その後、ルータは、クエリセットに対してプロファイルされた各候補モデルのパフォーマンスに基づいて、新しいクエリに対して各モデルが正しく応答できるかどうかを予測する方法を学習します。提案された方法は、既存および新しいデータに対して最先端のルーティング性能を達成し、ルータを再訓練することなく新しいモデルをシームレスに統合することができます。

Takeaways、Limitations

•
Takeaways：
◦
コンテキスト内ベクトルを使用してLLMルーティングの精度を向上させます。
◦
ルータの再訓練なしに新しいモデルを簡単に統合でき、スケーラビリティに優れています。
◦
既存と新しいデータの両方で優れたルーティング性能を示します。
•
Limitations：
◦
論文に具体的なLimitations言及なし。 （提供された情報に限る）
👍
Made with Slashpage