본 논문은 대규모 언어 모델(LLM)의 내부 표상이 인간과 유사하게 압축과 의미 충실도 간의 균형을 이루는지 여부를 정보이론적 관점에서 연구한 논문입니다. Rate-Distortion Theory와 Information Bottleneck principle을 활용하여 새로운 프레임워크를 제시하고, 다양한 LLM의 토큰 임베딩을 인간의 범주화 기준과 비교 분석했습니다. 그 결과, LLM은 인간의 판단과 일치하는 광범위한 개념적 범주를 형성하지만, 인간의 이해에 중요한 세부적인 의미적 차이를 포착하는 데 어려움을 겪는다는 것을 발견했습니다. LLM은 공격적인 통계적 압축에 치우치는 반면, 인간의 개념 시스템은 압축 효율이 낮더라도 적응적인 뉘앙스와 문맥적 풍부함을 우선시하는 경향이 있습니다. 이러한 결과는 현재 AI와 인간 인지 구조 간의 중요한 차이점을 보여주며, 더욱 인간 친화적인 개념 표상을 가진 LLM을 향한 방향을 제시합니다.
