대규모 언어 모델(LLM)은 종종 상호 보완적인 강점을 보입니다. 모델 라우팅은 후보 모델 풀이 주어졌을 때 각 쿼리를 가장 적합한 모델로 동적으로 전달하여 이러한 강점을 활용합니다. 하지만, 라우팅 성능은 정확한 모델 표현에 의존하며, 새로운 모델을 추가하려면 일반적으로 재학습이 필요하여 확장성에 제한이 있습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 문맥 내 벡터를 사용하여 모델의 능력을 표현하는 새로운 라우팅 방법을 제안합니다. 이 방법은 두 단계로 진행됩니다. 첫째, 쿼리는 임베딩되고 벡터로 투영되며, 투영기 및 LLM 기반 라우터는 원래 쿼리를 재구성하도록 훈련되어 벡터 표현을 라우터의 의미 공간에 정렬합니다. 둘째, 각 후보 모델은 쿼리 세트에 대해 프로파일링되며, 라우터는 쿼리 및 모델 성능의 문맥 내 벡터를 기반으로 각 모델이 새로운 쿼리에 정확하게 답변할 수 있는지 예측하는 법을 배웁니다. 광범위한 실험을 통해 본 방법이 분포 내 및 분포 외 작업 모두에서 최첨단 라우팅 성능을 달성함을 입증했습니다. 또한, 본 방법은 라우터를 재학습하지 않고도 새로운 모델을 원활하게 통합할 수 있습니다.
