Señalando la falta de herramientas para interpretar las compensaciones de valor en los modelos de lenguaje a gran escala (LLMs), presentamos una investigación que evalúa las compensaciones de valor de los LLMs utilizando modelos cognitivos de la ciencia cognitiva. Específicamente, analizamos el esfuerzo de inferencia del modelo y la dinámica del aprendizaje de refuerzo (LR) post-entrenamiento utilizando un modelo cognitivo de uso del lenguaje cortés. Encontramos que el comportamiento predeterminado del modelo prioriza la utilidad informativa sobre la utilidad social, y que este patrón cambia de manera predecible cuando se le pide que priorice objetivos específicos. Además, estudiamos la dinámica de entrenamiento de los LLM, revelando que la elección del modelo base y los datos pre-entrenamiento influyen significativamente en los cambios de valor. El marco propuesto puede contribuir a identificar compensaciones de valor entre varios tipos de modelos, generando hipótesis sobre comportamientos sociales como la adulación y diseñando métodos de entrenamiento que controlen el equilibrio entre valores durante el desarrollo del modelo.
