Este artículo aborda el problema del procesamiento de datos personales sensibles, como audio, imágenes de alta resolución, video e información de ubicación, recopilados por robots que operan en entornos privados, como el hogar, para mejorar la interacción humano-robot (HRI) con modelos de lenguaje a gran escala (LLM). Utilizando el marco de Integridad Contextual (CI), desarrollamos una serie de escenarios relacionados con la privacidad para investigar las preferencias de privacidad de los usuarios (N = 450). Comparamos las respuestas con las de un LLM de última generación (N = 10), revelando diferencias en la conciencia de la privacidad entre humanos y LLM. Además, implementamos cuatro estrategias de incitación adicionales para mejorar las capacidades de control de la privacidad del LLM y comparamos los resultados. Nuestros hallazgos demuestran que la conciencia de la privacidad del LLM aún es inadecuada, y discutimos las implicaciones y el potencial de la conciencia de la privacidad de la IA para HRI.