En este artículo, proponemos Códigos Latentes Aprendibles como Puentes (LCB), un enfoque novedoso para superar las limitaciones del uso de modelos de lenguaje a gran escala (LLM) como capa de interfaz y abordar la necesidad de una capa de interfaz bien definida para la comunicación entre los planificadores de tareas de alto nivel y las políticas de bajo nivel en el control de robots. Los enfoques existentes basados en LLM presentan limitaciones, ya que son difíciles de expresar en lenguaje natural (p. ej., pasos de baile) o porque el aprendizaje por transferencia es difícil debido al cambio de dominio y al olvido catastrófico. LCB utiliza códigos latentes aprendibles como puente entre los LLM y las políticas de bajo nivel, lo que permite a los LLM transmitir objetivos de forma flexible sin restricciones lingüísticas y posibilita el aprendizaje por transferencia sin destruir el espacio de incrustación de los tokens de palabras preaprendidas durante el aprendizaje por transferencia. Mediante la Tabla de Lenguaje y los puntos de referencia de Calvin, verificamos experimentalmente que LCB supera a los enfoques existentes (incluido GPT-4V) que utilizan lenguajes puros como capa de interfaz en tareas que requieren inferencia y acciones de varios pasos.
