Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Unifying 2D and 3D Vision-Language Understanding

Created by
  • Haebom

저자

Ayush Jain, Alexander Swerdlow, Yuzhou Wang, Sergio Arnaud, Ada Martin, Alexander Sax, Franziska Meier, Katerina Fragkiadaki

개요

대규모 3D 데이터셋 부족으로 3D 비전-언어 학습의 발전이 저해되어 왔다. 본 논문에서는 기존 2D 중심 모델과 임베디드 시스템에서 사용 가능한 풍부한 3D 감각 데이터 간의 간극을 해소하는 2D 및 3D 비전-언어 이해를 위한 통합 아키텍처인 UniVLG를 제시한다. UniVLG는 사전 훈련된 2D 모델에서 대부분의 모델 가중치를 초기화하고 2D 및 3D 비전-언어 데이터로 학습한다. RGB 및 RGB-D 이미지 모두에서 객체를 효과적으로 지정하기 위해 2D 및 3D 모드에서 공유되는 새로운 언어 조건 마스크 디코더를 제안하며, 이는 박스 기반 접근 방식보다 성능이 우수하다. 2D와 3D 간의 도메인 간극을 더 줄이기 위해 2D-to-3D 리프팅 전략을 통합하여 UniVLG가 2D 데이터를 사용하여 3D 성능을 향상시킬 수 있도록 한다. 이러한 혁신을 통해 UniVLG는 여러 3D 비전-언어 지정 작업에서 최첨단 성능을 달성하여 2D 비전-언어 학습의 발전을 데이터 제약이 있는 3D 도메인으로 전이할 수 있는 잠재력을 보여준다. 또한 2D 및 3D 데이터에 대한 공동 학습은 2D 기능을 희생하지 않고 모달리티 전반의 성능을 향상시킨다. 3D 메쉬 재구성 및 ground-truth 객체 제안에 대한 의존성을 제거함으로써 UniVLG는 현실적이고 임베디드 방식에 맞는 평가에 대한 새로운 기준을 제시한다. 코드와 추가 시각화는 https://univlg.github.io 에서 확인할 수 있다.

시사점, 한계점

•
시사점:
◦
2D 비전-언어 학습의 발전을 데이터 부족한 3D 도메인으로 성공적으로 전이하는 방법을 제시한다.
◦
2D 및 3D 데이터의 공동 학습을 통해 두 모달리티 모두의 성능을 향상시킨다.
◦
3D 메쉬 재구성 및 ground-truth 객체 제안에 대한 의존성을 제거하여 현실적인 평가를 가능하게 한다.
◦
여러 3D 비전-언어 지정 작업에서 최첨단 성능을 달성한다.
◦
새로운 언어 조건 마스크 디코더를 통해 객체 지정 성능을 향상시킨다.
•
한계점:
◦
논문에서 구체적인 한계점이 명시적으로 언급되지 않았다. 향후 연구를 통해 개선될 수 있는 부분은 추가적인 데이터셋 확보 및 다양한 3D 환경에 대한 일반화 성능 향상 등이 있을 수 있다.
👍
Made with Slashpage