본 논문은 인간의 의미 압축(semantic compression) 방식과 대규모 언어 모델(LLM)의 내부 표상 간의 차이를 정보이론적 관점에서 비교 분석합니다. 인간은 다양한 사례들을 추상적인 표상으로 매핑하여 지식을 압축하지만, 의미는 유지하는 반면(예: 로빈과 푸른 솔새는 모두 새임), LLM이 인간과 유사한 수준으로 압축과 의미 충실도 간의 균형을 이루는지 여부는 불확실합니다. 본 연구는 Rate-Distortion 이론과 Information Bottleneck 원리를 활용하여 새로운 정보이론적 프레임워크를 제시하고, 다양한 LLM의 토큰 임베딩을 인간 범주화 벤치마크와 비교 분석합니다. 그 결과, LLM은 인간의 판단과 일치하는 광범위한 개념 범주를 형성하지만, 인간의 이해에 중요한 세부적인 의미적 차이를 포착하는 데 어려움을 겪는다는 것을 발견했습니다. 더 근본적으로, LLM은 공격적인 통계적 압축에 치우치는 반면, 인간의 개념 시스템은 압축 효율이 낮더라도 적응적인 뉘앙스와 문맥적 풍부함을 우선시하는 것으로 나타났습니다. 이러한 결과는 현재 AI와 인간 인지 구조의 중요한 차이점을 보여주며, 보다 인간 중심적인 개념 표상을 가진 LLM을 향한 방향을 제시합니다.
