Cet article aborde un scénario complexe d'apprentissage interactif appelé « relocalisation aveugle », dans lequel l'agent doit manipuler un environnement rigide sans connaître les concepts clés nécessaires à la résolution de la tâche. Par exemple, un utilisateur peut demander à l'agent de « mettre deux pommes Granny Smith dans un panier », mais l'agent ne peut pas identifier précisément quel objet de l'environnement est une « Granny Smith », car il n'a jamais été exposé à ces concepts. Dans cet article, nous présentons SECURE, une stratégie d'apprentissage interactif conçue pour gérer de tels scénarios. Une caractéristique unique de SECURE est sa capacité à s'engager dans l'analyse sémantique lors du traitement des conversations incarnées et de la prise de décision. Grâce aux conversations incarnées, l'agent SECURE apprend des retours correctifs incarnés de l'utilisateur en cas d'erreur et s'engage stratégiquement dans les conversations pour découvrir des informations utiles sur de nouveaux concepts pertinents pour la tâche. Cette capacité permet à l'agent SECURE de généraliser ses connaissances acquises à de nouvelles tâches. Nous démontrons que les agents SECURE qui résolvent des relocalisations dans un environnement Blocksworld simulé et dans un environnement réel de manipulation de pommes sans connaissance sont plus efficaces en termes de données que les agents qui n'engagent ni conversation ni analyse sémantique.
