본 논문은 세계 각지의 다양한 장소를 촬영한 5,000시간 이상의 고품질 1인칭 시점 및 항공 촬영 영상으로 구성된 새로운 영상 데이터셋 Sekai를 소개합니다. Sekai는 기존 영상 생성 데이터셋의 한계(제한된 장소, 짧은 영상 길이, 정적인 장면, 탐험 및 세계에 대한 주석 부족)를 극복하기 위해, 위치, 장면, 날씨, 인파 밀도, 자막, 카메라 궤적 등 풍부한 주석 정보를 제공합니다. 효율적인 툴박스를 개발하여 영상 수집, 전처리 및 주석 작업을 수행하였으며, Sekai의 일부 데이터셋을 사용하여 상호작용적인 영상 세계 탐험 모델 YUME을 훈련했습니다. 본 논문은 Sekai가 영상 생성 및 세계 탐험 분야에 기여하고 유용한 응용 프로그램을 촉진할 것으로 기대합니다.
시사점, 한계점
•
시사점:
◦
기존 데이터셋의 한계를 극복하는 대규모 고품질 영상 데이터셋 Sekai를 제공합니다.
◦
풍부한 주석 정보를 통해 세계 탐험 모델 학습에 유용한 데이터를 제공합니다.
◦
상호작용적인 영상 세계 탐험 모델 YUME 개발에 기여합니다.
◦
영상 생성 및 세계 탐험 분야의 발전에 기여할 것으로 예상됩니다.
•
한계점:
◦
데이터셋의 편향성(특정 지역이나 장소에 대한 과대 표현 등)에 대한 분석이 부족할 수 있습니다.
