Este artículo analiza cómo las representaciones internas de los modelos de lenguaje a gran escala (LLM) difieren de la categorización de conceptos humanos desde una perspectiva de la teoría de la información. Mientras que los humanos condensan el conocimiento preservando el significado al mapear diversas instancias a representaciones abstractas (p. ej., tanto los petirrojos como las urracas son aves), los LLM tienden a centrarse en la compresión estadística. Utilizando la teoría de la tasa de distorsión y el principio del cuello de botella de la información, comparamos las incrustaciones de tokens de los LLM con los parámetros de categorización humana. Observamos que, si bien los LLM forman categorías conceptuales amplias, consistentes con el juicio humano, tienen dificultades para captar diferencias semánticas sutiles, cruciales para la comprensión humana. En conclusión, destacamos diferencias importantes entre la IA actual y las arquitecturas cognitivas humanas, y sugerimos orientaciones hacia LLM con representaciones de conceptos más centradas en el ser humano.
