Alto: Orchestrating Distributed Compound AI Systems with Nested Ancestry
Created by
Haebom
저자
Deepti Raghavan, Keshav Santhanam, Muhammad Shahir Rahman, Nayani Modugula, Luis Gaspar Schroeder, Maximilien Cura, Houjun Liu, Pratiksha Thaker, Philip Levis, Matei Zaharia
개요
Alto는 복합 AI 애플리케이션의 실행을 스트리밍 및 병렬 처리를 통해 자동으로 최적화하는 프레임워크입니다. 기존 시스템에서는 생성형 언어 모델, 문서 검색기, 임베딩 모델 등의 서로 다른 제약 조건을 가진 하위 구성 요소들을 연결하는 복합 AI 시스템에서 병렬 처리 및 파이프라이닝과 같은 전통적인 시스템 최적화를 적용하는 것이 어려웠습니다. Alto는 중첩 계보(nested ancestry)라는 새로운 추상화를 도입하여, 시스템이 부분 출력을 정확하게 추적하고 복합 AI 애플리케이션 구성 요소의 이기종 제약 조건에 걸쳐 데이터를 집계할 수 있도록 합니다. 이 메타데이터는 프로그래밍 모델에서 자동으로 추론되므로 개발자는 라우팅 및 집계 세부 사항을 수동으로 고려할 필요 없이 복잡한 데이터 흐름 패턴을 표현할 수 있습니다. 네 가지 애플리케이션의 Alto 구현은 인기 있는 기존 AI 프로그래밍 프레임워크인 LangGraph의 구현보다 성능이 우수하거나 동등합니다. Alto 구현은 지연 시간을 10~30% 향상시키거나 동등한 수준을 유지합니다.
시사점, 한계점
•
시사점:
◦
복합 AI 애플리케이션의 실행 속도를 향상시키는 효율적인 프레임워크 제공.
◦
중첩 계보 메타데이터를 통해 복잡한 데이터 흐름 패턴을 쉽게 표현 가능.
◦
개발자의 수동적인 최적화 노력을 줄임으로써 개발 효율성 증대.
◦
LangGraph 대비 10-30%의 지연 시간 개선 또는 동등한 성능 달성.
•
한계점:
◦
Alto 프레임워크의 일반적인 성능 향상 범위와 적용 가능한 애플리케이션의 종류에 대한 더 자세한 분석 필요.
