Si bien los modelos lingüísticos a gran escala (LLM) permiten la automatización de la investigación en ciencias sociales, sus resultados pueden variar significativamente según las decisiones del investigador (p. ej., selección del modelo, estrategia de indicaciones). Esta variabilidad puede influir en los análisis al introducir sesgos sistemáticos y errores aleatorios, lo que lleva a errores de tipo I, II, S y M. Este fenómeno se conoce como piratería de LLM. La piratería intencional de LLM es simple, y la replicación de 37 tareas de anotación de datos demuestra que simplemente modificar las indicaciones puede producir resultados estadísticamente significativos. Además, un análisis de 13 millones de etiquetas de 18 LLM en 2361 hipótesis realistas reveló un alto riesgo de piratería inadvertida de LLM, incluso cuando se siguen métodos de investigación estándar. Los LLM de vanguardia arrojaron conclusiones incorrectas en aproximadamente el 31 % de las hipótesis, mientras que los modelos lingüísticos a pequeña escala arrojaron conclusiones incorrectas en la mitad de las hipótesis. El riesgo de piratería de LLM disminuyó a medida que aumentó el tamaño del efecto, lo que demuestra el papel fundamental de la anotación humana en la prevención de falsos positivos. Se presentan recomendaciones prácticas para prevenir la piratería informática en los cursos LLM.
