Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

RadialRouter: Structured Representation for Efficient and Robust Large Language Models Routing

Created by
  • Haebom

저자

Ruihan Jin, Pengpeng Shao, Zhengqi Wen, Jinyang Wu, Mingkuan Feng, Shuai Zhang, Jianhua Tao

개요

본 논문은 다양한 대규모 언어 모델(LLM) 중 특정 작업에 최적의 LLM을 효율적으로 선택하는 라우팅 기법을 제시합니다. 기존 방법들의 한계점인 사용자 질의와 LLM 특성 간의 연관성 부족을 해결하기 위해, RadialRouter라는 새로운 프레임워크를 제안합니다. RadialRouter는 RadialFormer라는 방사형 구조의 경량 Transformer 기반 백본을 사용하여 질의-LLM 관계를 명확히 하고, RadialFormer의 최종 상태를 기반으로 최적의 LLM을 선택합니다. Kullback-Leibler divergence와 질의-질의 대조 손실을 결합한 목적 함수를 통해 강건성을 향상시켰습니다. RouterBench 실험 결과, 기존 라우팅 방법들보다 Balance 시나리오에서 9.2%, Cost First 시나리오에서 5.8% 향상된 성능을 보였으며, 성능-비용 트레이드오프와 동적 LLM 풀에 대한 적응력을 통해 실용적인 적용 가능성을 입증했습니다.

시사점, 한계점

시사점:
RadialFormer 기반의 새로운 LLM 라우팅 프레임워크인 RadialRouter 제시
기존 방법 대비 향상된 성능 및 비용 효율성 입증 (RouterBench 기준)
다양한 성능-비용 트레이드오프 및 동적 LLM 풀에 대한 적응력
질의와 LLM 특징 간의 연관성을 효과적으로 학습하는 방법 제시
한계점:
RouterBench 데이터셋에 대한 의존성. 다른 데이터셋에서의 일반화 성능 검증 필요
RadialFormer의 구조적 복잡성 및 계산 비용에 대한 추가적인 분석 필요
실제 상용 환경에서의 적용 가능성 및 확장성에 대한 추가 연구 필요
👍