Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Sekai: A Video Dataset towards World Exploration

Created by
  • Haebom

저자

Zhen Li, Chuanhao Li, Xiaofeng Mao, Shaoheng Lin, Ming Li, Shitian Zhao, Zhaopan Xu, Xinyue Li, Yukang Feng, Jianwen Sun, Zizhen Li, Fanrui Zhang, Jiaxin Ai, Zhixiang Wang, Yuwei Wu, Tong He, Jiangmiao Pang, Yu Qiao, Yunde Jia, Kaipeng Zhang

개요

Sekai는 세계 곳곳의 100개 이상 국가와 지역, 750개 이상의 도시에서 촬영된 5,000시간 이상의 1인칭 시점(FPV) 및 항공 촬영(UVA) 영상으로 구성된 고품질 영상 데이터셋입니다. 기존 영상 생성 데이터셋의 한계(제한된 위치, 짧은 지속 시간, 정적인 장면, 탐험 및 세계에 대한 주석 부족)를 극복하기 위해 제작되었으며, 위치, 장면, 날씨, 군중 밀도, 캡션, 카메라 궤적 등 풍부한 주석이 포함되어 있습니다. 본 논문에서는 Sekai 데이터셋의 효율적이고 효과적인 수집, 전처리 및 주석 도구를 소개하고, 데이터셋의 질을 실험적으로 검증합니다. 또한, Sekai의 일부분을 사용하여 YUME이라는 대화형 영상 세계 탐험 모델을 훈련시켰습니다.

시사점, 한계점

시사점:
기존 영상 생성 데이터셋의 한계를 극복하는 고품질의 대규모 영상 데이터셋 Sekai를 제공합니다.
다양한 주석 정보를 포함하여 영상 생성 및 세계 탐험 모델 학습에 유용합니다.
세계 탐험 모델 YUME을 통해 데이터셋의 활용 가능성을 보여줍니다.
영상 생성 및 세계 탐험 분야의 발전에 기여할 것으로 기대됩니다.
한계점:
데이터셋의 균형(지역, 장면, 날씨 등)에 대한 구체적인 설명이 부족합니다.
YUME 모델의 성능에 대한 자세한 분석이 부족합니다.
데이터 수집 과정에서 발생할 수 있는 편향에 대한 논의가 부족합니다.
👍