Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Energy-Aware Data-Driven Model Selection in LLM-Orchestrated AI Systems

Created by
  • Haebom
Category
Empty

저자

Daria Smirnova, Hamid Nasiri, Marta Adamska, Zhengxin Yu, Peter Garraghan

개요

현대 AI 시스템의 발전으로 복잡한 작업을 수행하기 위해 다양한 도구와 모델을 활용하지만, 이를 조율하는 과정에서 LLM(Large Language Models) 기반 오케스트레이터는 모델의 질적 설명에 의존하여 최적의 모델 선택에 실패하고, 정확성 저하 및 에너지 비용 증가를 초래합니다. 본 논문에서는 LLM 기반 오케스트레이션의 한계를 경험적으로 분석하고, 정량적 모델 성능 특성을 의사 결정에 통합하여 성능과 에너지 효율성을 고려하는 새로운 에너지 인식 모델 선택 프레임워크인 GUIDE를 제안합니다. 실험 결과, GUIDE는 다양한 작업에서 정확도를 0.90%에서 11.92%까지 향상시키고, 최대 54%의 에너지 효율성 개선을 달성했으며, 오케스트레이터 모델 선택 지연 시간을 4.51초에서 7.2ms로 단축했습니다.

시사점, 한계점

시사점:
GUIDE 프레임워크는 LLM 기반 오케스트레이션의 한계를 극복하고, 모델 선택의 정확성과 에너지 효율성을 크게 향상시켰습니다.
정량적 모델 성능 특성을 활용함으로써 더 나은 의사 결정을 가능하게 했습니다.
모델 선택 지연 시간을 단축하여 시스템의 효율성을 높였습니다.
한계점:
논문에 구체적인 한계점 언급은 없음.
👍