Cet article analyse les différences entre les représentations internes des modèles linguistiques à grande échelle (MLL) et la catégorisation conceptuelle humaine, d'un point de vue de la théorie de l'information. Alors que les humains compressent les connaissances tout en préservant le sens en associant diverses instances à des représentations abstraites (par exemple, les rouges-gorges et les pies sont des oiseaux), les LLM ont tendance à se concentrer sur la compression statistique. En utilisant la théorie du taux-distorsion et le principe du goulot d'étranglement informationnel, nous comparons les intégrations de jetons des LLM aux référentiels de catégorisation humaine. Nous constatons que, si les LLM forment de larges catégories de concepts compatibles avec le jugement humain, ils peinent à saisir les subtiles différences sémantiques essentielles à la compréhension humaine. En conclusion, nous soulignons les différences importantes entre l'IA actuelle et les architectures cognitives humaines et suggérons des pistes vers des LLM avec des représentations conceptuelles plus centrées sur l'humain.
