SigmaCollab: An Application-Driven Dataset for Physically Situated Collaboration
Created by
- Haebom
Category
Empty
저자
Dan Bohus, Sean Andrist, Ann Paradiso, Nick Saw, Tim Schoonbeek, Maia Stiber
개요
본 논문은 물리적 환경에서의 인간-AI 협업 연구를 위한 데이터셋인 SigmaCollab을 소개합니다. 이 데이터셋은 85개의 세션으로 구성되어 있으며, 훈련받지 않은 참가자가 혼합 현실 보조 AI 에이전트의 안내를 받아 물리적 세계에서 절차적 작업을 수행하는 모습을 담고 있습니다. SigmaCollab은 참가자 및 시스템 오디오, 1인칭 시점 카메라, 깊이 맵, 머리, 손, 시선 추적 정보, 사후 주석 등 다양한 멀티모달 데이터를 포함합니다. 비록 데이터셋의 크기는 상대적으로 작지만, 실제 응용 프로그램 기반의 상호작용적 특성으로 인해 인간-AI 협업에 대한 새로운 연구 과제를 제기하고, 다양한 AI 모델의 현실적인 테스트 환경을 제공합니다. 향후 연구에서는 이 데이터셋을 활용하여 혼합 현실 작업 보조 시나리오에서의 물리적 협업에 대한 벤치마크를 구축할 계획입니다. SigmaCollab 데이터셋은 https://github.com/microsoft/SigmaCollab 에서 이용 가능합니다.
시사점, 한계점
•
시사점:
◦
물리적 환경에서의 인간-AI 협업 연구를 위한 풍부한 멀티모달 데이터셋 제공.
◦
실제 응용 프로그램 기반의 상호작용적 환경을 제공하여 현실적인 AI 모델 테스트 가능.
◦
인간-AI 협업 연구의 새로운 과제를 제시.
◦
향후 벤치마크 구축을 위한 기반 마련.
•
한계점:
◦
데이터셋 크기가 상대적으로 작음 (~ 14시간).
