Cet article explore l'analyse stylométrique comme moyen de distinguer les textes générés par des modèles linguistiques à grande échelle (MLH) des textes écrits par des humains. Pour aborder des questions telles que l'attribution des modèles, les droits de propriété intellectuelle et l'utilisation éthique de l'IA, nous appliquons les techniques stylométriques existantes aux textes générés par les LH afin d'y identifier de nouveaux schémas narratifs. Nous créons un ensemble de données de référence composé de résumés humains issus de Wikipédia, de textes générés par divers LHH (GPT-3.5/4, LLaMa 2/3, Orca, Falcon) et de textes soumis à plusieurs méthodes de résumé (T5, BART, Gensim, Sumy) et de paraphrase (Dipper, T5). Nous classons les textes de 10 phrases à l'aide de modèles arborescents tels que les arbres de décision et LightGBM, en utilisant des caractéristiques stylométriques telles que les schémas lexicaux, grammaticaux, syntaxiques et de ponctuation. Nous obtenons un coefficient de corrélation de Matthews allant jusqu'à 0,87 dans un scénario multi-classes à 7 classes, et une précision de 0,79 à 1,0 en classification binaire. En particulier, pour Wikipédia et GPT-4, nous avons atteint des précisions allant jusqu'à 0,98 sur des ensembles de données équilibrés. Grâce aux explications additives de Shapley, nous avons identifié des caractéristiques des textes de type encyclopédique, comme des mots surutilisés, et une standardisation grammaticale plus élevée des LLM par rapport aux textes écrits par des humains. Ces résultats démontrent que, dans le contexte de LLM de plus en plus sophistiqués, il est possible de distinguer les textes générés par machine et les textes générés par des humains pour certains types de textes.
