본 논문은 생성형 AI 워크로드의 급증에 따라 GPU와 전문화된 가속기 모두를 유연하게 활용하면서 운영 비용을 절감할 수 있는 확장 가능한 추론 시스템에 대한 필요성을 제기합니다. 본 논문에서는 실시간 비용 및 용량 신호에 따라 이기종 가속기 간에 요청을 적응적으로 할당하는 하드웨어 비종속 제어 루프를 제안합니다. 이 방법은 비용 최적화 모드와 용량 최적화 모드 간의 동적 전환을 통해 낮은 지연 시간과 높은 처리량을 유지하여 변동하는 가용성 하에서 고가의 컴퓨팅 리소스를 가장 효율적으로 사용할 수 있도록 합니다. Stable Diffusion 모델을 사용하여 평가한 결과, 이 프레임워크는 지연 시간 목표를 일관되게 충족하고, 용량 부족 시 트래픽을 자동으로 리디렉션하며, 가능한 경우 저렴한 가속기를 활용합니다. 이러한 결과는 소프트웨어 및 하드웨어 스택 전체에 걸친 피드백 기반 배포 전략을 통해 조직이 제한된 가속기 용량에 직면하여 탄력성을 유지하면서 생성형 AI 워크로드를 효율적으로 확장할 수 있음을 강조합니다.