본 논문은 인간-로봇 상호작용 환경에서 사회 불안을 연구하기 위한 다중 모달 데이터 세트 수집 프로토콜을 제시한다. 이 데이터 세트는 사회 불안 수준에 따라 분류된 최소 70명의 참가자로부터 수집된 동기화된 오디오, 비디오 및 생리적 기록을 포함한다. 참가자들은 Furhat 소셜 로봇과 약 10분 동안의 Wizard-of-Oz 역할극 시나리오에 참여하며, 실험 조건하에서 데이터를 수집한다. 이 데이터 세트는 다중 모달 데이터 외에도 개별 사회 불안 반응의 변동성에 대한 더 깊은 통찰력을 제공하는 맥락적 데이터를 포함한다.