본 논문은 ChatGPT와 Claude와 같은 대규모 언어 모델(LLM) 기반의 AI 에이전트를 동적인 에지 환경에 효율적으로 배포하고 관리하는 시스템을 제시합니다. 클라우드 기반 배포의 높은 지연 시간 문제를 해결하기 위해 에지 환경에서 AI 에이전트를 배포하는 것을 목표로 하며, 제한적이고 이기종적인 에지 자원의 특성을 고려하여 자원 제약과 지연 시간/비용을 모델링하고 개미 군집 알고리즘 및 LLM 기반 최적화를 활용한 적응형 프레임워크를 제안합니다. 이를 통해 에이전트 배치 및 마이그레이션을 자동화하여 자원 활용도와 서비스 품질(QoS)을 최적화하고, 필수적인 상태만 전송하는 경량화된 에이전트 마이그레이션을 가능하게 합니다. AgentScope를 사용한 분산 시스템에 구현되어 전 세계적으로 분산된 에지 서버에서 검증되었으며, 배포 지연 시간과 마이그레이션 비용을 크게 줄이는 결과를 보였습니다.
시사점, 한계점
•
시사점:
◦
LLM 기반 AI 에이전트의 동적 에지 환경 배포 및 관리를 위한 최초의 체계적인 솔루션 제시
◦
개미 군집 알고리즘과 LLM 기반 최적화를 활용한 효율적인 에이전트 배치 및 마이그레이션 전략 제시
◦
경량화된 에이전트 마이그레이션을 통한 비용 절감 및 효율 향상
◦
실제 분산 시스템 구현 및 글로벌 에지 서버 검증을 통한 실용성 입증
◦
배포 지연 시간 및 마이그레이션 비용 감소 효과 확인
•
한계점:
◦
제안된 프레임워크의 확장성에 대한 추가적인 검증 필요
◦
다양한 종류의 에지 디바이스 및 네트워크 환경에 대한 적용성 평가 필요
◦
에이전트 마이그레이션 과정에서 발생할 수 있는 데이터 손실 및 일관성 문제에 대한 보완 방안 필요
