Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Adaptive Orchestration for Large-Scale Inference on Heterogeneous Accelerator Systems Balancing Cost, Performance, and Resilience

Created by
  • Haebom

저자

Yahav Biran, Imry Kissos

개요

본 논문은 생성형 AI 워크로드의 급증에 따라 GPU와 전문화된 가속기 모두를 유연하게 활용하면서 운영 비용을 절감할 수 있는 확장 가능한 추론 시스템에 대한 필요성을 제기합니다. 본 논문에서는 실시간 비용 및 용량 신호에 따라 이기종 가속기 간에 요청을 적응적으로 할당하는 하드웨어 비종속 제어 루프를 제안합니다. 이 방법은 비용 최적화 모드와 용량 최적화 모드 간의 동적 전환을 통해 낮은 지연 시간과 높은 처리량을 유지하여 변동하는 가용성 하에서 고가의 컴퓨팅 리소스를 가장 효율적으로 사용할 수 있도록 합니다. Stable Diffusion 모델을 사용하여 평가한 결과, 이 프레임워크는 지연 시간 목표를 일관되게 충족하고, 용량 부족 시 트래픽을 자동으로 리디렉션하며, 가능한 경우 저렴한 가속기를 활용합니다. 이러한 결과는 소프트웨어 및 하드웨어 스택 전체에 걸친 피드백 기반 배포 전략을 통해 조직이 제한된 가속기 용량에 직면하여 탄력성을 유지하면서 생성형 AI 워크로드를 효율적으로 확장할 수 있음을 강조합니다.

시사점, 한계점

시사점:
실시간 비용 및 용량 신호를 기반으로 한 적응형 가속기 할당을 통해 생성형 AI 추론 시스템의 효율성 및 확장성을 향상시킬 수 있음을 보여줍니다.
하드웨어 비종속적인 제어 루프를 통해 다양한 가속기를 유연하게 활용할 수 있는 가능성을 제시합니다.
비용 최적화 및 용량 최적화 모드의 동적 전환을 통해 운영 비용을 절감하고 서비스 품질을 유지할 수 있는 전략을 제시합니다.
Stable Diffusion 모델을 통한 실험 결과는 제안된 방법의 실효성을 입증합니다.
한계점:
Stable Diffusion 모델 하나만을 사용한 평가로, 다른 생성형 AI 모델이나 워크로드에 대한 일반화 가능성은 추가 연구가 필요합니다.
제안된 제어 루프의 복잡성 및 구현의 어려움에 대한 논의가 부족합니다.
다양한 가속기 환경에 대한 실험 및 평가가 제한적입니다.
장기적인 운영 환경에서의 안정성 및 내구성에 대한 검증이 필요합니다.
👍