Hybrid Self-evolving Structured Memory for GUI Agents

Created by

Haebom

저자

Sibo Zhu, Wenyi Wu, Kun Zhou, Stephen Wang, Biwei Huang

💡 개요

본 논문은 인간의 기억 구조를 모방한 그래프 기반의 Hybrid Self-evolving Structured Memory (HyMEM)을 제안하여 GUI 에이전트의 장기 작업 수행 능력을 향상시킵니다. HyMEM은 이산적인 고수준 기호 노드와 연속적인 궤적 임베딩을 결합하여 다중 홉 검색, 노드 업데이트를 통한 자체 진화, 실시간 작업 기억 갱신 기능을 제공합니다. 실험 결과, HyMEM은 오픈 소스 GUI 에이전트의 성능을 크게 향상시켜 폐쇄형 모델에 필적하거나 능가하는 결과를 보였습니다.

🔑 시사점 및 한계

•

GUI 에이전트의 장기 작업 수행 능력 및 오류 처리 능력을 획기적으로 개선할 수 있는 새로운 메모리 아키텍처를 제시합니다.

•

인간 기억의 구조적 특징과 동적인 진화 특성을 모델링함으로써 기존의 평면적인 메모리 방식의 한계를 극복합니다.

•

제안된 HyMEM은 특히 7B/8B 규모의 개방형 모델에서 강력한 성능 향상을 보여주며, Gemini2.5-Pro-Vision 및 GPT-4o와 같은 최신 폐쇄형 모델을 능가하는 잠재력을 보여줍니다.

•

HyMEM의 자체 진화 메커니즘이 장기적인 작업 수행 과정에서 발생하는 복잡한 시나리오에 얼마나 효과적으로 적응할 수 있는지에 대한 추가적인 연구가 필요합니다.

PDF 보기

Made with Slashpage