EgoSim: An Egocentric Multi-view Simulator and Real Dataset for Body-worn Cameras during Motion and Activity
Created by
Haebom
Category
Empty
저자
Dominik Hollidt, Paul Streli, Jiaxi Jiang, Yasaman Haghighi, Changlin Qian, Xintong Liu, Christian Holz
개요
본 논문은 신체 부착형 카메라의 증가하는 수요에 주목하여, 다양한 신체 부위에 부착된 카메라로부터 얻어지는 시점의 데이터를 활용하는 새로운 시뮬레이터 EgoSim과 데이터셋 MultiEgoView를 제시합니다. EgoSim은 실제 모션 캡처 데이터를 활용하여 움직임에 따른 아티팩트를 사실적으로 구현하며, MultiEgoView는 6개의 신체 부착형 카메라로부터 촬영된 119시간 분량의 가상 환경 데이터와 13명의 참가자를 대상으로 촬영한 5시간 분량의 실제 환경 데이터로 구성됩니다. 본 논문에서는 EgoSim의 효과를 검증하기 위해 비디오 기반 3D 자세 추정 네트워크를 학습시키고, 실제 데이터에 대한 추론 성능 향상을 보여줍니다.
시사점, 한계점
•
시사점:
◦
다양한 신체 부위에 부착된 카메라를 활용한 시점 데이터의 중요성을 강조합니다.
◦
실제 모션 캡처 데이터를 기반으로 한 사실적인 시뮬레이터 EgoSim과 대규모 데이터셋 MultiEgoView를 제공합니다.
◦
비디오 기반 3D 자세 추정 네트워크의 성능 향상에 기여합니다. 특히 하체 자세 추정에 유용합니다.
◦
다양한 응용 분야(인간 동작 추적, 신체 자세 추정, 행동 인식 등)에 활용 가능성을 제시합니다.
•
한계점:
◦
현재 제공되는 데이터셋은 가상 환경 데이터와 실제 환경 데이터의 비율이 상당히 다릅니다. (가상 119시간, 실제 5시간) 실제 환경 데이터의 확장이 필요할 수 있습니다.
◦
가상 환경과 실제 환경 간의 도메인 갭(domain gap)을 완전히 해소하지 못할 가능성이 있습니다. 추가적인 연구를 통해 이를 완화해야 합니다.
