대규모 언어 모델(LLM)은 chain-of-thought 및 추론 시간 스케일링과 같은 추론 모드로 보강될 때 상당한 정확도 향상을 보입니다. 그러나 추론은 추론 지연 시간 및 토큰 사용에 상당한 비용을 발생시키며, 환경적 및 재정적 영향도 있습니다. 이는 많은 간단한 프롬프트에는 불필요합니다. 본 연구에서는 추론 요구 사항에 따라 쿼리를 분류하고 유익한 경우에만 선택적으로 추론을 적용하는 의미론적 라우터를 제시합니다. 제안된 방식은 MMLU-Pro 벤치마크에서 정확도를 10.2% 향상시키면서 vLLM을 사용한 직접 추론과 비교하여 응답 지연 시간을 47.1%, 토큰 소비를 48.5% 줄였습니다. 이러한 결과는 의미론적 라우팅이 오픈 소스 LLM 서비스 시스템에서 정확도와 효율성 사이의 균형을 맞추는 효과적인 메커니즘임을 보여줍니다.
시사점, 한계점
•
시사점:
◦
의미론적 라우터를 사용하여 LLM의 정확도를 향상시키면서 지연 시간과 토큰 소비를 줄일 수 있습니다.
◦
MMLU-Pro 벤치마크에서 정확도, 지연 시간, 토큰 소비 측면에서 괄목할 만한 개선을 보였습니다.
◦
오픈 소스 LLM 서비스 시스템에서 정확도와 효율성 간의 균형을 맞추는 효과적인 메커니즘을 제공합니다.
