ICL-Router: In-Context Learned Model Representations for LLM Routing
Created by
Haebom
저자
Chenxu Wang, Hao Li, Yiqun Zhang, Linyao Chen, Jianhao Chen, Ping Jian, Peng Ye, Qiaosheng Zhang, Shuyue Hu
개요
대규모 언어 모델(LLM)은 종종 상호 보완적인 강점을 보입니다. 모델 라우팅은 후보 모델 풀에서 각 쿼리를 가장 적합한 모델로 동적으로 전달하여 이러한 강점을 활용합니다. 이 논문에서는 모델의 기능을 나타내기 위해 문맥 내 벡터를 사용하는 새로운 라우팅 방법을 제안합니다. 이 방법은 쿼리를 임베딩하고 벡터로 투영하는 두 단계로 진행되며, 쿼리 재구성을 위해 프로젝터와 LLM 기반 라우터를 사용합니다. 그 후 라우터는 쿼리 세트에 대해 프로파일링된 각 후보 모델의 성능을 기반으로 새로운 쿼리에 대해 각 모델이 올바르게 답변할 수 있는지 예측하는 방법을 학습합니다. 제안된 방법은 기존 및 새로운 데이터에 대해 최첨단 라우팅 성능을 달성하며, 라우터를 재훈련하지 않고도 새로운 모델을 원활하게 통합할 수 있습니다.
