Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

From Tokens to Thoughts: How LLMs and Humans Trade Compression for Meaning

Created by
  • Haebom

저자

Chen Shani, Liron Soffer, Dan Jurafsky, Yann LeCun, Ravid Shwartz-Ziv

개요

LLM이 압축과 의미 보존의 균형을 어떻게 맞추는지 인간과 비교하기 위해 정보 병목 현상 원리를 적용한 연구. 40개 이상의 LLM의 임베딩을 인간 범주화 벤치마크와 비교 분석하여 LLM과 인간의 차이점을 밝힘.

시사점, 한계점

시사점:
LLM은 인간 범주와 대체로 일치하지만, 인간 이해에 중요한 세밀한 의미 구분을 놓침.
LLM은 "최적" 정보 이론적 효율성을 달성하는 공격적인 통계적 압축을 수행하는 반면, 인간은 맥락적 풍부함과 적응적 유연성을 우선시함.
인코더 모델이 디코더 모델보다 인간 정렬에서 더 나은 성능을 보임.
개념적 구조는 초기 급격한 형성과 구조적 재구성을 거쳐, 모델이 더 효율적인 인코딩을 발견함에 따라 의미 처리 과정이 심층 레이어에서 중간 네트워크 레이어로 이동하는 별개의 단계를 거쳐 개발됨.
한계점:
LLM은 압축을 최적화하고 인간은 적응적 유용성을 최적화하여 인공 지능과 생물학적 지능 간의 근본적인 차이점을 드러냄.
👍