본 논문은 시각 장애인을 위한 조리 지원 시스템 개발을 목표로, 물체 상태 인식(Object Status Recognition)을 활용한 조리 과정 추적 기술인 OSCAR(Object Status Context Awareness for Recipes)를 제안합니다. OSCAR는 레시피 파싱, 물체 상태 추출, 조리 단계와의 시각적 정렬, 시간적 인과 모델링을 통합하여 실시간 조리 단계 추적을 지원합니다. 173개의 조리 영상과 시각 장애인 12명의 가정에서 녹화된 실제 조리 데이터셋을 사용하여 OSCAR을 평가한 결과, 물체 상태 인식이 시각 언어 모델의 단계 예측 정확도를 향상시키는 것을 확인하였습니다. 또한, 암묵적 작업, 카메라 배치, 조명 등 실제 환경의 요인들이 성능에 미치는 영향을 분석했습니다. 본 논문은 문맥 인식 조리 과정 추적 파이프라인, 주석이 달린 실제 비시각적 조리 데이터셋, 그리고 미래의 문맥 인식 조리 보조 시스템을 위한 설계 통찰력을 제공합니다.
