Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Dynamically Learned Test-Time Model Routing in Language Model Zoos with Service Level Guarantees

Created by
  • Haebom

저자

Herbert Woisetschlager, Ryan Zhang, Shiqiang Wang, Hans-Arno Jacobsen

개요

본 논문은 다양한 고품질 언어 모델을 제공하는 오픈-웨이트 LLM 동물원에서 특정 작업에 적합한 모델을 선택하는 것이 어렵다는 문제를 해결하기 위해 MESS+ 알고리즘을 제시합니다. MESS+는 사용자의 요구 사항 만족도 확률을 실시간으로 학습하여 비용 최적화된 LLM 요청 라우팅을 제공하며, 서비스 수준 계약(SLA) 준수를 보장합니다. 가상 큐와 요청 만족도 예측을 결합하여 비용 최적화와 제약 조건 만족에 대한 이론적 분석을 포함하며, 기존 LLM 라우팅 기술 대비 평균 2배의 비용 절감 효과를 보입니다.

시사점, 한계점

시사점:
LLM 요청 라우팅의 비용 최적화를 위한 효율적인 알고리즘 제공
실시간 사용자 피드백 기반의 동적 모델 선택 가능
SLA 준수 보장을 통한 안정적인 서비스 제공
다양한 LLM 벤치마크에서의 우수한 성능 검증 (평균 2배 비용 절감)
한계점:
알고리즘의 실제 운영 환경에서의 장기적인 성능 및 안정성에 대한 추가적인 검증 필요
다양한 유형의 SLA 요구사항에 대한 적용성 및 일반화 가능성에 대한 추가 연구 필요
가상 큐 및 요청 만족도 예측의 정확도 향상 및 개선 방안 모색 필요
👍