본 논문은 추상적 패턴 학습, 불필요한 세부 정보 필터링, 그리고 새로운 시퀀스로의 일반화된 개념 전이에 탁월한 인간의 능력을 모방하는 비모수적 계층적 변수 학습 모델(HVM)을 제시합니다. HVM은 시퀀스에서 청크(chunk)를 학습하고 문맥적으로 유사한 청크를 변수로 추상화하여 메모리를 효율적으로 구성하고 추상화를 발견하여 압축된 시퀀스 표현을 생성합니다. babyLM과 같은 언어 데이터셋에서 HVM은 Lempel-Ziv와 같은 표준 압축 알고리즘보다 더 효율적인 사전을 학습하며, 시퀀스 재현 작업에서 HVM의 시퀀스 가능도는 인간의 재현 시간과 상관관계를 보입니다. 반면, 대규모 언어 모델(LLM)은 인간처럼 효과적으로 추상적 변수를 전이하지 못합니다. HVM의 조정 가능한 추상화 계층을 통해 압축과 일반화 사이의 정확한 절충점을 달성함을 보여줍니다. 이 연구는 인간 인지에서 추상적 표현의 학습과 전이를 포착하는 인지 모델을 제시하며, 대규모 언어 모델과 차별화됩니다.
