본 논문은 LLM(Large Language Model)의 다양한 계층(tier) 중 작업에 적합한 계층을 자동으로 선택하여 비용과 성능 간의 균형을 맞추는 LLM 자동 변속기(LLM-AT) 프레임워크를 제안합니다. LLM-AT는 Starter, Generator, Judge 세 가지 구성 요소로 이루어져 있습니다. Starter는 주어진 질문에 대해 적절한 초기 LLM 계층을 선택하고, Generator는 선택된 계층의 LLM을 사용하여 응답을 생성하며, Judge는 응답의 유효성을 평가합니다. 응답이 유효하지 않으면 LLM-AT는 상위 계층 모델로 반복적으로 업그레이드하여 새로운 응답을 생성하고 다시 평가하는 과정을 거칩니다. 또한, 과거 추론 기록에서 상위 k개의 유사 질문에 대한 유효 응답률을 계산하여 각 LLM 계층의 예상 정확도를 추정하는 정확도 추정기를 제안합니다. 실험 결과, LLM-AT는 비용을 절감하면서 우수한 성능을 달성하여 실제 응용에 적합한 솔루션임을 보여줍니다.
