Dans cet article, nous proposons des codes latents apprenables comme passerelles (LCB), une nouvelle approche visant à surmonter les limites de l'utilisation de modèles de langage à grande échelle (LLM) comme couche d'interface. Cette approche répond au besoin d'une couche d'interface bien définie pour la communication entre les planificateurs de tâches de haut niveau et les politiques de bas niveau dans le contrôle des robots. Les approches existantes basées sur les LLM présentent des limites : elles sont difficiles à exprimer en langage naturel (par exemple, les mouvements de danse) ou l'apprentissage par transfert est difficile en raison du changement de domaine et de l'oubli catastrophique. Les LCB utilisent des codes latents apprenables comme passerelle entre les LLM et les politiques de bas niveau, permettant aux LLM de transmettre des objectifs de manière flexible sans contraintes linguistiques et permettant l'apprentissage par transfert sans détruire l'espace d'intégration des jetons de mots pré-appris pendant l'apprentissage par transfert. Grâce aux benchmarks Language Table et Calvin, nous vérifions expérimentalement que les LCB surpassent les approches existantes (dont GPT-4V) qui utilisent des langages purs comme couche d'interface dans les tâches nécessitant des inférences et des actions en plusieurs étapes.
