Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Murakkab: Orquestación de flujos de trabajo de agentes eficiente en el uso de recursos en plataformas de nube

Created by
  • Haebom

Autor

Gohar Irfan Chaudhry, Esha Choukse, Haoran Qiu, I nigo Goiri, Rodrigo Fonseca, Adam Belay, Ricardo Bianchini

Describir

Murakkab es un sistema de servicio eficiente en el uso de recursos para flujos de trabajo basados ​​en agentes. Los marcos existentes integran estrechamente la lógica del agente con la selección de modelos y hardware, exponiendo los flujos de trabajo como secuencias opacas de llamadas a modelos y herramientas, lo que genera ineficiencias. Murakkab introduce una abstracción declarativa que separa las especificaciones del flujo de trabajo de la configuración de la ejecución. Un optimizador basado en perfiles y un entorno de ejecución adaptativo gestionan toda la pila, incluyendo la orquestación de los componentes del flujo de trabajo, la asignación a modelos y hardware, y la reconfiguración dinámica para cumplir con los objetivos de nivel de servicio (SLO) definidos por el usuario. Al exponer la estructura interna de los flujos de trabajo de los agentes, permite optimizaciones entre capas que los marcos y programadores en la nube existentes no pueden lograr. Las evaluaciones de diversos flujos de trabajo han demostrado que Murakkab reduce el uso de la GPU hasta 2,8 veces, el consumo de energía 3,7 veces y los costes 4,3 veces, manteniendo al mismo tiempo los SLO.

Takeaways, Limitations

Takeaways:
Los flujos de trabajo basados ​​en agentes pueden mejorar significativamente la eficiencia de los recursos (reduciendo el uso de GPU, el consumo de energía y los costos).
La abstracción declarativa separa las especificaciones del flujo de trabajo de las configuraciones de ejecución, lo que aumenta la flexibilidad y la capacidad de gestión.
La optimización entre capas permite una gestión de recursos más eficiente que los sistemas existentes.
Demostramos experimentalmente que es posible reducir el uso de recursos y al mismo tiempo satisfacer los objetivos de nivel de servicio (SLO).
Limitations:
Las mejoras de rendimiento de Murakkab pueden variar según los flujos de trabajo y los entornos de hardware específicos.
Se necesita más investigación para explorar la generalización en diferentes tipos de flujos de trabajo de agentes.
La complejidad de las abstracciones declarativas puede resultar un desafío para ciertos usuarios.
La estabilidad y escalabilidad a largo plazo en entornos operativos reales requieren verificación.
👍