Kai Mei, Xi Zhu, Wujiang Xu, Wenyue Hua, Mingyu Jin, Zelong Li, Shuyuan Xu, Ruosong Ye, Yingqiang Ge, Yongfeng Zhang
개요
본 논문은 대규모 언어 모델(LLM) 기반 지능형 에이전트의 자원 관리 문제를 해결하기 위해 AIOS(LLM 기반 AI 에이전트 운영 체제) 아키텍처를 제안한다. AIOS는 LLM 및 도구 자원에 대한 제한 없는 접근으로 인한 비효율적인 자원 할당 및 활용 문제를 해결하기 위해 LLM 특정 서비스와 자원들을 에이전트 애플리케이션으로부터 격리하는 커널을 도입한다. 이 커널은 스케줄링, 컨텍스트 관리, 메모리 관리, 저장소 관리, 접근 제어 등의 기본 서비스를 제공하며, 사용 편의성을 위해 AIOS SDK를 함께 제공한다. 실험 결과, AIOS를 사용하면 다양한 에이전트 프레임워크로 구축된 에이전트의 실행 속도를 최대 2.1배 향상시킬 수 있음을 보여준다. 소스 코드는 깃허브에서 공개되어 있다.
