Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

PerceptionLM: Open-Access Data and Models for Detailed Visual Understanding

Created by
  • Haebom

저자

Jang Hyun Cho, Andrea Madotto, Effrosyni Mavroudi, Triantafyllos Afouras, Tushar Nagarajan, Muhammad Maaz, Yale Song, Tengyu Ma, Shuming Hu, Suyog Jain, Miguel Martin, Huiyu Wang, Hanoona Rasheed, Peize Sun, Po-Yao Huang, Daniel Bolya, Nikhila Ravi, Shashank Jain, Tammy Stark, Shane Moon, Babak Damavandi, Vivian Lee, Andrew Westbury, Salman Khan, Philipp Krahenbuhl, Piotr Dollar, Lorenzo Torresani, Kristen Grauman, Christoph Feichtenhofer

개요

본 논문은 컴퓨터 비전 연구에 필수적인 비전-언어 모델의 연구를 위해 완전히 개방적이고 재현 가능한 프레임워크 내에서 지각 언어 모델(PLM)을 구축하는 연구를 제시합니다. 독점 모델로부터의 증류 없이 표준 훈련 파이프라인을 분석하고, 대규모 합성 데이터를 활용하여 특히 상세한 비디오 이해에 있어 중요한 데이터 격차를 파악합니다. 이러한 격차를 해소하기 위해 280만 개의 정교한 비디오 질문-응답 쌍과 시공간적으로 기반을 둔 비디오 캡션의 인간 라벨링 인스턴스를 공개합니다. 또한, 비디오의 "무엇", "어디", "언제", "어떻게"에 대한 추론 능력에 중점을 둔 어려운 비디오 이해 작업을 평가하기 위한 PLM-VideoBench라는 평가 도구 모음을 소개합니다. 데이터, 훈련 레시피, 코드 및 모델을 제공하여 작업의 완전한 재현성을 보장합니다.

시사점, 한계점

시사점:
독점 모델에 의존하지 않는 개방적이고 재현 가능한 비전-언어 모델 연구 프레임워크 제시
대규모 인간 라벨링 데이터셋 (280만 개의 비디오 질문-응답 쌍 및 캡션) 공개
비디오 이해를 위한 새로운 평가 도구 PLM-VideoBench 제시
합성 데이터 활용을 통한 데이터 격차 분석 및 해결 방안 제시
한계점:
합성 데이터의 한계로 인해 실제 데이터의 복잡성을 완전히 반영하지 못할 가능성 존재
PLM-VideoBench의 평가 범위가 제한적일 수 있음
개방형 모델이라 하더라도, 모델의 복잡성으로 인해 재현성 확보에 어려움을 겪는 연구자들이 있을 수 있음
👍