본 논문은 다수의 대규모 언어 모델(LLM) 중 입력에 가장 적합한 모델을 선택하는 라우팅 기법에 대한 연구를 다룬다. 연구 결과, 라우터의 성능이 향상될수록 후보 모델의 수가 증가함에 따라 성능이 비례적으로 증가하는 모델 수준의 확장 현상을 발견했다. 이는 단일 최고 성능 모델이나 기존 강력한 LLM의 성능을 뛰어넘는 결과를 보여주며, 라우팅 기반 LLM 패러다임의 높은 잠재력을 시사한다. 하지만 라우팅 LLM 연구를 위한 종합적이고 오픈소스 벤치마크의 부재가 연구 발전을 저해하고 있다는 점을 지적하며, 8,500개 이상의 LLM과 12가지 평가 기준(지식 기반 Q&A, 상식 추론, 의미 이해, 수학적 추론, 지시 사항 따르기 등)에 걸쳐 2억 개 이상의 성능 기록을 포함하는 새로운 벤치마크 RouterEval을 제시한다. RouterEval을 이용한 기존 라우팅 LLM 방법론의 평가 결과, 대부분의 방법론이 여전히 개선의 여지가 크다는 것을 확인했다. 소스 코드와 데이터는 GitHub에서 공개한다.
