EgoNormia: Benchmarking Physical Social Norm Understanding
Created by
- Haebom
Category
Empty
저자
MohammadHossein Rezaei, Yicheng Fu, Phil Cuvin, Caleb Ziems, Yanzhe Zhang, Hao Zhu, Diyi Yang
개요
본 논문은 시각-언어 모델(VLMs)의 규범적 추론 능력을 향상시키고 평가하기 위해, 인간 상호작용의 1인칭 시점 비디오를 기반으로 한 1,853개의 다단계 객관식 질문으로 구성된 새로운 데이터셋 $\epsilon$을 제시합니다. 데이터셋은 안전, 프라이버시, 근접성, 예의범절, 협력, 조정/선제적 행동, 의사소통/가독성 등 7가지 범주의 규범적 행동을 평가합니다. 대규모 데이터셋 구축을 위해 비디오 샘플링, 자동 답변 생성, 필터링, 인간 검증을 활용하는 새로운 파이프라인을 제안합니다. 실험 결과, 최첨단 VLMs는 $\epsilon$에서 최대 54%의 정확도를 보이는 반면, 인간은 92%의 정확도를 보여, VLMs의 규범 이해 능력 부족을 드러냅니다. 특히 안전, 프라이버시, 협업 및 의사소통 능력 부족에 대한 위험성을 강조하며, 검색 기반 생성(RAG) 방법을 통해 $\epsilon$을 활용하여 VLMs의 규범적 추론 능력을 향상시킬 수 있음을 보여줍니다.
시사점, 한계점
•
시사점:
◦
인간 상호작용의 규범적 행동을 평가하는 새로운 데이터셋 $\epsilon$을 제시.
◦
최첨단 VLMs의 규범적 추론 능력 부족을 실험적으로 입증.
◦
안전, 프라이버시, 협업 및 의사소통 능력 부족에 대한 위험성을 제기.
◦
RAG 기반 방법을 활용한 VLMs의 규범적 추론 능력 향상 가능성 제시.
•
한계점:
◦
데이터셋 $\epsilon$의 규모가 아직 상대적으로 제한적일 수 있음.
◦
1인칭 시점 비디오에 기반하여 일반화 가능성에 대한 추가 연구 필요.
◦
RAG 방법을 통한 성능 향상의 일반화 가능성에 대한 추가 연구 필요.
