Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Murakkab : Orchestration de flux de travail agentiques économes en ressources sur les plateformes cloud

Created by
  • Haebom

Auteur

Gohar Irfan Chaudhry, Esha Choukse, Haoran Qiu, I nigo Goiri, Rodrigo Fonseca, Adam Belay, Ricardo Bianchini

Contour

Murakkab est un système de service économe en ressources pour les workflows basés sur des agents. Les frameworks existants associent étroitement la logique des agents à la sélection des modèles et du matériel, exposant les workflows comme des séquences opaques d'appels de modèles et d'outils, ce qui entraîne des inefficacités. Murakkab introduit une abstraction déclarative qui sépare les spécifications des workflows de la configuration d'exécution. Un optimiseur piloté par profil et un environnement d'exécution adaptatif gèrent l'ensemble de la pile, y compris l'orchestration des composants des workflows, le mappage aux modèles et au matériel, et la reconfiguration dynamique pour atteindre les objectifs de niveau de service (SLO) définis par l'utilisateur. En exposant la structure interne des workflows des agents, il permet des optimisations inter-couches que les frameworks et les ordonnanceurs cloud existants ne peuvent pas réaliser. Des évaluations sur différents workflows ont montré que Murakkab réduit l'utilisation du GPU jusqu'à 2,8 fois, la consommation énergétique de 3,7 fois et les coûts de 4,3 fois, tout en maintenant les SLO.

Takeaways, Limitations_

Takeaways:
Les flux de travail basés sur des agents peuvent améliorer considérablement l’efficacité des ressources (réduction de l’utilisation du GPU, de la consommation d’énergie et des coûts).
L'abstraction déclarative sépare les spécifications du flux de travail des configurations d'exécution, augmentant ainsi la flexibilité et la facilité de gestion.
L'optimisation inter-couches permet une gestion des ressources plus efficace que les systèmes existants.
Nous avons démontré expérimentalement qu’il est possible de réduire l’utilisation des ressources tout en satisfaisant les SLO.
Limitations:
Les améliorations des performances de Murakkab peuvent varier en fonction des flux de travail et des environnements matériels spécifiques.
Des recherches supplémentaires sont nécessaires pour explorer la généralisabilité à travers différents types de flux de travail d’agents.
La complexité des abstractions déclaratives peut être un défi pour certains utilisateurs.
La stabilité à long terme et l’évolutivité dans les environnements d’exploitation réels nécessitent une vérification.
👍