Lang2Act: Fine-Grained Visual Reasoning through Self-Emergent Linguistic Toolchains

Created by

Haebom

저자

Yuqi Xiong, Chunyi Peng, Zhipeng Xu, Zhenghao Liu, Zulong Chen, Yukun Yan, Shuo Wang, Yu Gu, Ge Yu

💡 개요

본 논문은 외부 시각 문서를 활용하는 VRAG 프레임워크의 한계를 극복하기 위해, 고정된 외부 도구 대신 자체적으로 생성되는 언어적 도구 체인을 통해 미세한 시각적 추론을 가능하게 하는 Lang2Act를 제안합니다. Lang2Act는 시각 인식과 추론 과정을 분리하지 않고, RL 기반의 2단계 학습 프레임워크를 통해 고품질의 언어적 도구를 스스로 탐색하고 이를 효과적으로 활용합니다. 실험 결과, Lang2Act는 VLMs의 시각 인식 능력을 크게 향상시켜 4% 이상의 성능 개선을 달성했습니다.

🔑 시사점 및 한계

•

기존 VRAG의 고정된 외부 도구 사용 및 시각 정보 손실 문제를 해결하는 새로운 접근 방식을 제시합니다.

•

시각 인식과 추론 과정을 통합하고, 학습 과정에서 동적으로 도구를 생성 및 활용하는 유연성을 확보했습니다.

•

두 단계의 RL 학습 방식이 모델의 효과적인 언어적 도구 생성 및 활용에 기여합니다.

•

특정 복잡한 시각적 추론 작업에 대한 추가적인 검증 및 다양한 시각 도메인에서의 일반화 가능성에 대한 연구가 필요합니다.

PDF 보기

Made with Slashpage