OmniVL-Guard Pro: A Tool-Augmented Agent for Omnibus Vision-Language Forensics

작성자

Haebom

카테고리

Empty

저자

Jinjie Shen, Zheng Huang, Yuchen Zhang, Yujiao Wu, Yaxiong Wang, Lechao Cheng, Shengeng Tang, Tianrui Hui, Nan Pu, Zhun Zhong

💡 개요

기존 비전-언어 위변조 탐지 및 기반 탐지 방법은 모델 자체만으로 검증이 완료되는 폐쇄 세계 가정을 따르지만, 모델의 한계로 인해 실제 오픈월드 환경에서의 실시간 검증 및 세밀한 조작 분석에 어려움이 있습니다. 본 논문은 이를 극복하기 위해 OmniVL-Guard Pro를 제안하며, 이는 실시간 이벤트 검색, 이미지 확대, 이상 징후 탐지 등 다양한 외부 도구를 활용하여 폐쇄 세계 예측을 넘어선 오픈월드 단서 기반 추론을 가능하게 합니다.

🔑 시사점 및 한계

•

도구 활용을 통한 비전-언어 포렌식 능력 확장: 폐쇄적인 모델의 한계를 벗어나, 외부 도구와의 연동을 통해 현실 세계의 복잡하고 동적인 위변조 탐지 문제에 효과적으로 대처할 수 있는 새로운 패러다임을 제시합니다.

•

강화된 추론 능력 및 제로샷 일반화 성능: Tree-Structured Self-Evolving Tool Trajectory Generation과 Checker-Guided Agentic Reinforcement Learning (CGARL) 기법을 통해 고품질의 도구 사용 궤적을 생성하고, 올바른 결과와 왜곡된 추론을 구분하여 학습함으로써 강력한 추론 능력과 뛰어난 제로샷 일반화 성능을 달성합니다.

•

오픈월드 환경에서의 실제 적용 가능성: 다양한 실험에서 최첨단 성능을 입증하였으며, 공개될 데이터셋과 코드를 통해 비전-언어 포렌식 분야의 발전에 기여할 것으로 기대됩니다.

PDF 보기

Made with Slashpage