Este artículo presenta el potencial de aprovechar las capacidades de razonamiento físico de los modelos de lenguaje a gran escala (LLM) para la interacción humano-robot (HRI) en situaciones de socorro ante desastres. Para abordar las limitaciones de tamaño de los grandes LLM existentes, proponemos un conjunto de datos y una secuencia de comandos para generar un modelo de Agente de Razonamiento de Campo y Decodificación de Instrucciones (FRIDA). Combinando el conocimiento de expertos en la materia y lingüistas, generamos indicaciones de alta calidad y de pocas instancias, que posteriormente se utilizan para perfeccionar un modelo pequeño, optimizado para instrucciones, utilizando datos sintéticos. Demostramos experimentalmente que un modelo FRIDA entrenado exclusivamente con datos de estado físico y características de objetos supera a los modelos entrenados completamente con datos sintéticos y modelos de referencia, lo que demuestra la capacidad de inculcar sentido común físico con datos mínimos.