Cet article compare et analyse les différences entre la formation des concepts humains et les représentations internes des modèles linguistiques à grande échelle (MLH) d'un point de vue théorique de l'information. Nous constatons que, si les humains compressent les connaissances tout en préservant le sens en associant divers cas à des représentations abstraites, les LHH tendent à se concentrer sur la compression statistique. À l'aide d'un nouveau cadre s'appuyant sur la théorie du taux-distorsion et le principe du goulot d'étranglement informationnel, nous analysons les intégrations de jetons des LHH et montrons que ces derniers forment de larges catégories de concepts compatibles avec le jugement humain, mais peinent à saisir les subtiles différences sémantiques essentielles à la compréhension humaine. En conclusion, les LHH actuels présentent des différences importantes avec les structures cognitives humaines, et nous proposons des pistes pour le développement de LHH avec des représentations conceptuelles plus conviviales.
