본 논문은 초기 분산 레이어에서 후기 국소 레이어로 어텐션 국소성을 점진적으로 증가시키는 점진적 국소화가 성능을 유지하면서 해석 가능한 대규모 언어 모델(LLM)을 생성하는 데 최적의 아키텍처임을 보여준다. 인공 초지능 심리학을 기반으로 미세 조정된 GPT-2를 사용하여, 완전 분산에서 엄격한 국소화에 이르기까지 7가지 국소성 구성과 선형에서 5차까지의 다항식 증가를 구현하는 5가지 점진적 스케줄을 평가한다. 해석 가능성 제약 조건이 네트워크 깊이 전체에 전략적으로 적용되는 동안 자연스러운 의미 구조와 일치할 수 있는지 조사한다. 적응형 의미 블록 분할과 급격한 다항식 국소성 스케줄을 결합한 점진적 의미 국소화가 해석 가능한 어텐션 패턴을 제공하면서 기준선에 가까운 언어 모델링 성능을 달성함을 입증한다.
