HomeEmergency -- Using Audio to Find and Respond to Emergencies in the Home
Created by
Haebom
저자
James F. Mullen Jr, Dhruva Kumar, Xuewei Qi, Rajasimman Madhivanan, Arnie Sen, Dinesh Manocha, Richard Kim
개요
미국에서만 연간 12만 8천 건이 넘는 가정 내 사고 사망이 발생합니다. 본 연구는 가정 내 응급 상황에 대응하여 부상 및 사망을 예방하는 가정용 로봇을 개발하고자 합니다. ThreeDWorld 시뮬레이터를 기반으로 한 새로운 가정 내 응급 상황 데이터셋을 소개합니다. 각 시나리오는 즉각적이거나 주기적인 소리로 시작하며, 이는 응급 상황일 수도 아닐 수도 있습니다. 에이전트는 시뮬레이터의 오디오 신호와 이미지와 함께 이전 관찰을 사용하여 다중 방 가정 장면을 탐색하여 응급 상황인지 여부를 판단해야 합니다. 새로운 데이터셋 외에도 잠재적인 가정 내 응급 상황을 지역화하고 식별하기 위한 모듈식 접근 방식을 제시합니다. 본 접근 방식의 기반은 새로운 확률적 동적 장면 그래프(P-DSG)이며, 여기서 핵심 통찰력은 에이전트에 해당하는 그래프 노드를 확률적 에지로 나타낼 수 있다는 것입니다. 베이지안 추론을 사용하여 개선된 이 에지는 장면에서 에이전트의 효율적이고 효과적인 지역화를 가능하게 합니다. 또한 다중 모달 비전-언어 모델(VLM)을 접근 방식의 구성 요소로 활용하여 물체 특성(예: 가연성)을 결정하고 응급 상황을 식별합니다. 소비자 로봇에서 실제 버전의 작업을 완료하는 방법의 데모를 제시하여 작업과 방법 모두의 전이성을 보여줍니다. 본 논문이 발표되면 데이터셋이 공개될 예정입니다.
시사점, 한계점
•
시사점:
◦
가정 내 사고 사망 방지를 위한 가정용 로봇 개발에 기여하는 새로운 데이터셋 및 모듈식 접근 방식 제시.
◦
확률적 동적 장면 그래프(P-DSG)를 활용한 효율적이고 효과적인 에이전트 지역화 방법 제안.
