High-Fidelity Network Management for Federated AI-as-a-Service: Cross-Domain Orchestration

Created by

Haebom

저자

Merve Saimler, Mohaned Chraiti, Ozgur Ercetin

💡 개요

AI-as-a-Service (AIaaS) 시대를 맞아 통신 서비스 제공자(CSP)는 단순한 연결 제공자를 넘어 AI 모델을 관리하고 제공하는 AIaaS 관리 네트워크 서비스 제공자로 변화해야 합니다. 본 논문은 통신망 장애와 AI 추론 장애가 복합적으로 작용하는 상황에서, 특히 다중 도메인 연합 환경에서 고품질 AIaaS 서비스를 보장하는 운영 프레임워크의 부재라는 문제를 해결합니다. 이를 위해 제안된 Tail-Risk Envelopes(TREs)는 결정론적 가드레일과 확률론적 지연-손실 모델을 결합한 각 도메인별 설명자로, 확률적 네트워크 미적분을 통해 종단 간 지연 위반 확률의 상한선을 도출하고 최적화 가능한 리스크 예산 분해를 제공합니다.

🔑 시사점 및 한계

•

고품질 AIaaS 제공을 위한 다중 도메인 연합 관리 프레임워크 제시: Tail-Risk Envelopes(TREs)를 활용하여 통신망과 AI 추론의 복합적인 성능 저하 요인을 통합적으로 관리하고, 예측 가능한 종단 간 성능을 보장할 수 있는 방안을 제시합니다.

•

세분화된 리스크 관리 및 책임 소재 규명: 확률론적 네트워크 미적분과 리스크 예산 분해를 통해 각 도메인의 지연 위반 확률 기여도를 파악하고, 런타임 텔레메트리 기반의 감사 기능을 통해 극한 성능을 추정하고 불확실성을 정량화하여 각 도메인에 책임을 할당합니다.

•

혼잡 상황에서의 성능 보장 및 테넌트 격리 강화: TRE 계약 하에서 테넌트 수준의 예약이 버스티 트래픽으로 인한 테일 지연 증가를 방지하며, 패킷 수준 몬테카를로 시뮬레이션을 통해 과부하 상태에서의 p99.9 규정 준수율 향상 및 상관관계 있는 버스티 환경에서의 강력한 테넌트 격리 능력을 입증했습니다.

•

한계점: 제안된 TRE 모델 및 감사 레이어의 실제 구현 시 발생할 수 있는 계산 복잡성, 다양한 통신망 환경 및 AI 모델에 대한 일반화 가능성, 그리고 동적으로 변화하는 네트워크 상태에 대한 실시간 적응성 등에 대한 추가적인 연구가 필요합니다.

PDF 보기

Made with Slashpage