A CPU-Centric Perspective on Agentic AI
Created by
- Haebom
Category
Empty
저자
Ritik Raj, Hong Wang, Tushar Krishna
개요
Agentic AI 프레임워크는 거대 언어 모델(LLM)에 웹 검색, Python 인터프리터, 컨텍스트 데이터베이스 등 외부 도구를 통합하여 자율적인 문제 해결 능력을 부여합니다. 본 논문은 CPU 중심적인 관점에서 에이전트 AI 워크로드의 시스템 병목 현상을 파악하고 이해하는 것을 목표로 합니다. 에이전트 AI를 오케스트레이터, 추론 경로 역학 및 반복성을 기준으로 체계적으로 특징 분석하고, Haystack RAG, Toolformer, ChemCrow, Langchain 및 SWE-Agent 등 5가지 대표적인 에이전트 AI 워크로드를 사용하여 대기 시간, 처리량 및 에너지 메트릭을 프로파일링합니다. CPU가 GPU에 비해 이러한 메트릭에 미치는 영향을 규명하고, CPU 및 GPU 인식 마이크로 배치(CGAM) 및 혼합 에이전트 워크로드 스케줄링(MAWS)과 같은 최적화를 제안하여 성능, 효율성 및 확장성을 향상시키는 잠재력을 보여줍니다.
시사점, 한계점
•
시사점:
◦
에이전트 AI 워크로드에서 CPU가 중요한 병목 지점임을 확인 (도구 처리, 동기화, 코어 과부하 등).
◦
CPU의 동적 에너지 소비가 상당 부분을 차지함.
◦
CPU 및 GPU 인식 마이크로 배치 및 혼합 에이전트 워크로드 스케줄링을 통한 성능 향상 가능성 제시.
•
한계점:
◦
구체적인 워크로드 특성에 대한 자세한 분석 부족 가능성.
◦
제안된 최적화 기법의 일반화 가능성에 대한 추가 연구 필요.
◦
다양한 하드웨어 환경에서의 성능 검증 부족 가능성.
