Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

EPFL-Smart-Kitchen-30: Densely annotated cooking dataset with 3D kinematics to challenge video and language models

Created by
  • Haebom

저자

Andy Bonnetto, Haozhe Qi, Franklin Leong, Matea Tashkovska, Mahdi Rad, Solaiman Shokur, Friedhelm Hummel, Silvestro Micera, Marc Pollefeys, Alexander Mathis

개요

EPFL-Smart-Kitchen-30 데이터셋은 주방 환경에서 16명의 피험자가 4가지 레시피를 요리하는 29.7시간 동안의 다양한 모달리티 데이터를 포함하는 다중 뷰 액션 데이터셋입니다. 9개의 정적 RGB-D 카메라, 관성 측정 장치(IMU), HoloLens 2 헤드셋을 사용하여 3D 손, 신체, 시선 움직임을 포착했습니다. 분당 33.78개의 액션 세그먼트로 밀집하게 주석이 달려 있으며, 시각-언어 벤치마크, 의미론적 텍스트-모션 생성 벤치마크, 다중 모달 액션 인식 벤치마크, 자세 기반 액션 분할 벤치마크 등 4가지 벤치마크를 제안하여 행동 이해 및 모델링을 발전시키는 데 활용됩니다.

시사점, 한계점

•
시사점:
◦
복잡한 행동 이해를 위한 다양한 모달리티(RGB-D, IMU, 시선 추적) 데이터 제공.
◦
실제 생활과 유사한 환경(주방)에서 수집된 데이터를 통해 생태학적으로 타당한 행동 연구 가능.
◦
제시된 4가지 벤치마크를 통해 행동 이해 및 모델링 연구 발전에 기여.
◦
공개된 코드와 데이터를 통해 연구 재현성 및 확장성 증대.
•
한계점:
◦
데이터셋의 규모(16명의 피험자, 4가지 레시피)가 상대적으로 제한적일 수 있음.
◦
주방 환경에 특화되어 다른 환경으로의 일반화 가능성에 대한 검증 필요.
◦
주석의 정확성 및 신뢰도에 대한 추가적인 평가 필요.
👍
Made with Slashpage