Daily Arxiv

This page organizes papers related to artificial intelligence published around the world.
This page is summarized using Google Gemini and is operated on a non-profit basis.
The copyright of the paper belongs to the author and the relevant institution. When sharing, simply cite the source.

Agent0-VL: Exploring Self-Evolving Agent for Tool-Integrated Vision-Language Reasoning

Created by
  • Haebom
Category
Empty

저자

Jiaqi Liu, Kaiwen Xiong, Peng Xia, Yiyang Zhou, Haonian Ji, Lu Feng, Siwei Han, Mingyu Ding, Huaxiu Yao

개요

Agent0-VL은 도구 통합 추론을 통해 지속적인 개선을 달성하는 자기 진화형 시각-언어 에이전트입니다. 이 모델은 추론뿐만 아니라 자체 평가 및 자체 수리에 도구 사용을 통합하여 증거 기반 분석을 통해 추론을 자기 성찰, 검증 및 개선할 수 있습니다. Agent0-VL은 다중 턴 도구 통합 추론을 수행하는 Solver와 도구 기반 비평을 통해 구조화된 피드백과 세분화된 자체 보상을 생성하는 Verifier의 두 가지 시너지 역할을 단일 LVLM 내에서 통합합니다. 이러한 역할은 자체 진화 추론 주기를 통해 상호 작용하며, 도구 기반 검증 및 강화 학습은 안정적인 자기 개선을 위해 추론 및 평가 분포를 공동으로 정렬합니다. Agent0-VL은 외부 보상 모델이나 인간의 주석 없이 자체 진화함으로써 추론 및 검증 동작을 정렬하고 지속적인 자체 개선을 달성합니다. 기하 문제 해결 및 시각적 과학 분석에 대한 실험에서 Agent0-VL은 기본 모델보다 12.5% 향상을 보였습니다.

시사점, 한계점

시사점:
도구 통합 추론을 활용하여 시각-언어 에이전트의 자기 개선을 가능하게 함.
Solver와 Verifier의 상호 작용을 통해 안정적인 자기 개선을 위한 추론 및 평가 분포 정렬.
외부 보상이나 인간의 주석 없이 자체 진화하는 모델을 개발하여 지속적인 성능 향상 달성.
기하 문제 해결 및 시각적 과학 분석에서 상당한 성능 향상 입증.
한계점:
구체적인 한계점은 논문에 명시되지 않음.
👍