본 논문은 인간의 개념 형성 방식과 대규모 언어 모델(LLM)의 내부 표상 간의 차이를 정보이론적 관점에서 비교 분석합니다. 인간은 다양한 사례를 추상적인 표상으로 매핑하여 의미를 유지하면서 지식을 압축하는 반면, LLM은 통계적 압축에 치중하는 경향이 있다는 것을 밝힙니다. Rate-Distortion Theory와 Information Bottleneck principle을 활용한 새로운 프레임워크를 통해 LLM의 토큰 임베딩을 분석하여, LLM이 인간의 판단과 일치하는 광범위한 개념 범주를 형성하지만, 인간의 이해에 중요한 세부적인 의미 차이를 포착하는 데 어려움을 겪는다는 것을 보여줍니다. 결론적으로, 현재의 LLM은 인간의 인지 구조와는 중요한 차이를 보이며, 더욱 인간 친화적인 개념 표상을 갖춘 LLM 개발을 위한 방향을 제시합니다.
