Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Spatial-SSRL: Enhancing Spatial Understanding via Self-Supervised Reinforcement Learning

Created by
  • Haebom
Category
Empty

저자

Yuhong Liu, Beichen Zhang, Yuhang Zang, Yuhang Cao, Long Xing, Xiaoyi Dong, Haodong Duan, Dahua Lin, Jiaqi Wang

Spatial-SSRL: 자가 지도 학습 기반 LVLM의 공간 이해력 향상

개요

본 논문은 대규모 시각-언어 모델(LVLM)의 공간 이해력 부족 문제를 해결하기 위해, 특별한 감독 없이 RGB 또는 RGB-D 이미지에서 직접 검증 가능한 신호를 추출하는 자가 지도 강화 학습(RL) 패러다임인 Spatial-SSRL을 제안합니다. Spatial-SSRL은 2D 및 3D 공간 구조를 포착하는 다섯 가지 사전 훈련 태스크 (shuffled patch reordering, flipped patch recognition, cropped patch inpainting, regional depth ordering, relative 3D position prediction)를 자동 생성합니다. 이러한 태스크는 인간 또는 LVLM 주석 없이도 검증 가능한 정답을 제공합니다. 제안하는 방법론을 통해 학습된 모델은 공간 추론 능력을 향상시키면서 일반적인 시각적 능력도 유지합니다.

시사점, 한계점

•
시사점:
◦
LVLM의 공간 이해력 향상을 위한 새로운 자가 지도 학습 방법론 제시.
◦
감독 학습의 비용과 제약 없이 대규모 모델 훈련 가능성 제시.
◦
단순한 사전 훈련 태스크를 통해 RLVR을 대규모로 적용할 수 있는 실용적인 방법 제시.
◦
다양한 이미지 및 비디오 기반 공간 이해력 벤치마크에서 기존 모델 대비 성능 향상 입증.
•
한계점:
◦
구체적인 한계점은 논문 요약에서 명시적으로 언급되지 않았습니다. (추가 정보 필요)
◦
(제안된 방법론의 일반화 능력 또는 다른 시각적 작업에 대한 성능은 추가 검증 필요)
👍
Made with Slashpage