K^2-Agent: Co-Evolving Know-What and Know-How for Hierarchical Mobile Device Control

Created by

Haebom

저자

Zhe Wu, Donglin Mo, Hongjin Lu, Junliang Xing, Jianheng Liu, Yuheng Jing, Kai Li, Kun Shao, Jianye Hao, Yuanchun Shi

💡 개요

본 논문은 복잡한 모바일 기기 제어 작업에서 장기 계획 및 정밀 조작 능력 부족 문제를 해결하기 위해 선언적 지식(무엇을 아는지)과 절차적 지식(어떻게 하는지)을 분리하고 공동으로 발전시키는 계층적 프레임워크인 K²-Agent를 제안합니다. K²-Agent는 고수준 추론기를 통해 작업별 선언적 지식을 자체 진화시키고, 저수준 실행기는 커리큘럼 기반 최적화 기법을 활용하여 성공적인 궤적을 스스로 생성하도록 학습합니다.

🔑 시사점 및 한계

•

인간과 유사한 인지 모델링: 선언적 지식과 절차적 지식의 분리 및 공동 진화는 인간의 학습 및 문제 해결 방식을 모방하여 모바일 기기 제어의 복잡성을 효과적으로 다룹니다.

•

강력한 일반화 성능: 고수준 선언적 지식은 다양한 기본 모델로 이전될 수 있으며, 저수준 절차적 기술은 보지 못한 작업에서도 경쟁력 있는 성능을 보여줍니다.

•

데이터 효율성 및 접근성: 단일 데모만으로도 고수준 추론기를 학습할 수 있으며, 원시 스크린샷과 오픈 소스 백본만을 사용하여 높은 성공률을 달성하여 실제 적용 가능성을 높입니다.

PDF 보기

Made with Slashpage