A Neuroscience-Inspired Dual-Process Model of Compositional Generalization
Created by
Haebom
Category
Empty
저자
Alex Noviello, Claas Beger, Jacob Groner, Kevin Ellis, Weinan Sun
개요
본 논문은 인간의 인지 능력 중 하나인 체계적인 구성 일반화를 해결하기 위해 신경 영감을 받은 이중 처리 모델인 Mirage를 제안합니다. Mirage는 빠르고 직관적인 "System 1" (메타 훈련된 Transformer)과 의도적이고 규칙 기반의 "System 2" (Schema Engine)를 결합하여 뇌의 신피질 및 해마-전전두엽 회로를 모방합니다. 무작위 문법 스트림에 대한 일반적이고 단일 단계 분해를 수행하도록 훈련된 Mirage는 SCAN 벤치마크의 모든 분할에서 작업에 관계없이 99% 이상의 정확도를 달성했습니다.
시사점, 한계점
•
시사점:
◦
체계적인 구성 일반화를 위한 구체적인 계산 모델 제공.
◦
모듈식 인지 구조에서 구성적 추론이 어떻게 발생할 수 있는지 해석할 수 있는 방법 제시.
◦
SCAN 벤치마크에서 높은 정확도 달성.
◦
두 시스템의 아키텍처 상호 작용, 특히 명시적이고 우선순위가 지정된 스키마와 반복적 개선을 통해 체계적인 동작이 나타남을 확인.
