Dans cet article, nous proposons OSCAR (Object Status Context Awareness for Recipes), une technique de suivi des étapes de cuisson utilisant la reconnaissance des états des objets, dans le but de développer un système d'aide à la cuisson pour les personnes malvoyantes. OSCAR permet le suivi des étapes de cuisson en temps réel en intégrant l'analyse des recettes, l'extraction de l'état des objets, l'alignement visuel avec les étapes de cuisson et la modélisation causale temporelle. Nous évaluons OSCAR à l'aide de 173 vidéos de cuisine et d'un ensemble de données de cuisson réelles enregistrées au domicile de 12 personnes malvoyantes. Nous constatons que la reconnaissance des états des objets améliore la précision de prédiction des étapes d'un modèle de langage visuel. Nous analysons également l'impact de facteurs réels tels que les tâches implicites, le placement de la caméra et l'éclairage sur la performance. Cet article fournit un pipeline de suivi des étapes de cuisson sensible au contexte, un ensemble de données de cuisson non visuelles annotées et réelles, ainsi que des perspectives de conception pour de futurs systèmes d'aide à la cuisson sensibles au contexte.
