Este artículo explora el análisis estilométrico como una forma de distinguir entre textos generados por modelos de lenguaje a gran escala (LLM) y textos escritos por humanos. Para abordar cuestiones como la atribución de modelos, los derechos de propiedad intelectual y el uso ético de la IA, aplicamos técnicas estilométricas existentes a textos generados por LLM para identificar nuevos patrones narrativos en ellos. Creamos un conjunto de datos de referencia que consiste en resúmenes escritos por humanos de Wikipedia, textos generados por varios LLM (GPT-3.5/4, LLaMa 2/3, Orca, Falcon) y textos sujetos a múltiples métodos de resumen de texto (T5, BART, Gensim, Sumy) y métodos de paráfrasis (Dipper, T5). Clasificamos textos de 10 oraciones utilizando modelos basados en árboles como árboles de decisión y LightGBM, utilizando características estilométricas que incluyen patrones léxicos, gramaticales, sintácticos y de puntuación. Logramos un coeficiente de correlación de Matthews de hasta 0,87 en un escenario multiclase de 7 clases, y una precisión de 0,79 a 1,0 en la clasificación binaria. En particular, para Wikipedia y GPT-4, logramos precisiones de hasta 0,98 en conjuntos de datos balanceados. Mediante las Explicaciones Aditivas de Shapley, identificamos rasgos característicos de los textos de tipo enciclopédico, como el uso excesivo de palabras, y una mayor estandarización gramatical de las LLM en comparación con los textos escritos por personas. Estos resultados demuestran que, en el contexto de LLM cada vez más sofisticados, es posible distinguir entre textos generados por máquinas y textos generados por personas para ciertos tipos de textos.
