DARai (Daily Activity Recordings for Artificial Intelligence)는 실제 환경에서 인간 활동을 이해하기 위해 구축된 다중 모달, 계층적 주석이 달린 데이터셋입니다. 50명의 참가자를 대상으로 10가지 환경에서 200시간 이상의 데이터를 수집하였으며, 다중 카메라 뷰, 깊이 및 레이더 센서, 웨어러블 관성 측정 장치(IMU), 근전도(EMG), 깔창 압력 센서, 생체 모니터 센서, 시선 추적기 등 20개의 센서로부터 데이터를 수집했습니다. 인간 활동의 복잡성을 포착하기 위해 세 가지 계층(고차원 활동(L1), 저차원 행동(L2), 미세한 절차(L3))으로 주석을 달았습니다. L2 행동의 22.7%는 L1 활동 간에 공유되고, L3 절차의 14.2%는 L2 행동 간에 공유됩니다. 데이터셋의 중복 및 비스크립트 특성으로 인해 반사실적 활동이 가능합니다. 다양한 머신러닝 모델 실험을 통해 인간 중심 애플리케이션에서 DARai의 가치를 보여주며, 모든 계층적 주석 수준에서 단일 모달 및 다중 모달 센서 융합 실험을 수행하여 인식, 시간적 위치 파악 및 미래 행동 예측을 평가했습니다. 또한, 개별 센서의 한계를 강조하기 위해 DARai의 다중 센서 및 반사실적 활동 설계 설정을 통해 도메인 변화 실험을 수행했습니다. 데이터셋, 코드 및 문서는 DARai 웹사이트에서 이용 가능합니다.
