AppAgent v2: Advanced Agent for Flexible Mobile Interactions
Created by
Haebom
저자
Yanda Li, Chi Zhang, Wenjia Jiang, Wanqi Yang, Bin Fu, Pei Cheng, Xin Chen, Ling Chen, Yunchao Wei
개요
본 논문은 모바일 기기에서 작동하는 새로운 LLM 기반 다중 모달 에이전트 프레임워크를 제시합니다. 이 프레임워크는 사람과 유사한 상호 작용을 통해 모바일 기기를 탐색하며, 파서, 텍스트 및 비전 설명을 포함한 다양한 애플리케이션에 적응력을 높이는 유연한 액션 공간을 구성합니다. 탐색 단계와 배포 단계의 두 단계로 구성되며, 탐색 단계에서는 에이전트 주도 또는 수동 탐색을 통해 사용자 인터페이스 요소의 기능을 사용자 정의된 구조화된 지식 기반에 문서화합니다. 배포 단계에서는 RAG 기술을 사용하여 이 지식 기반에서 효율적으로 검색 및 업데이트하여 에이전트가 복잡하고 다단계적인 작업을 다양한 애플리케이션에서 효과적이고 정확하게 수행할 수 있도록 합니다. 다양한 벤치마크에 대한 실험 결과는 실제 시나리오에서 프레임워크의 효과를 확인하며, 우수한 성능을 보여줍니다. 곧 오픈소스로 공개될 예정입니다.
시사점, 한계점
•
시사점:
◦
모바일 기기에서의 LLM 기반 다중 모달 에이전트 프레임워크의 새로운 가능성 제시
◦
다양한 애플리케이션에 대한 적응력 향상 및 정확도 높은 작업 수행
◦
복잡하고 다단계적인 작업 처리 가능
◦
RAG 기술을 활용한 효율적인 지식 기반 관리 및 업데이트
◦
곧 공개될 오픈소스 코드를 통한 접근성 향상
•
한계점:
◦
현재까지 공개된 정보만으로는 구체적인 성능 지표 및 한계에 대한 자세한 내용 확인 불가
◦
실제 다양한 모바일 환경 및 애플리케이션에 대한 적용범위 및 일반화 성능에 대한 추가적인 검증 필요
