Este artículo destaca la necesidad de generar cuestionarios escalables adecuados para los modelos de lenguaje a gran escala (MLG), a medida que aumentan las encuestas psicométricas diseñadas para evaluar las características de los modelos de lenguaje a gran escala (MLG). En particular, es crucial garantizar la validez de constructo, que verifica que los ítems generados realmente midan las características deseadas. Si bien tradicionalmente se ha requerido la recopilación de datos humanos a gran escala y de alto costo, este estudio presenta un marco para simular encuestados virtuales mediante LLM. Este marco considera parámetros para explicar los factores que causan respuestas diversas a ítems de la encuesta con características idénticas. Al simular encuestados con diferentes parámetros, se identifican ítems del cuestionario que miden eficazmente las características deseadas. Los resultados experimentales sobre tres teorías de rasgos psicológicos (Big5, Schwartz y VIA) demuestran que el método de generación de parámetros y el marco de simulación propuestos identifican eficazmente ítems con alta validez. Los LLM demuestran la capacidad de generar parámetros plausibles a partir de definiciones de características y simular el comportamiento del encuestado para verificar la validez de los ítems. La formulación del problema, las métricas, la metodología y el conjunto de datos de este estudio sugieren nuevas direcciones para el desarrollo rentable de cuestionarios y una comprensión más profunda de la simulación de respuestas humanas en encuestas en LLM.
