본 논문은 지역주의(해석 가능, 규칙 기반)에서 분산(일반화 가능, 효율적) 인코딩까지 전체 스펙트럼을 포괄하는 지속적으로 조정 가능한 내부 표현을 가진 대규모 언어 모델을 훈련하기 위한 새로운 프레임워크를 제시한다. 핵심 혁신은 로컬리티 다이얼로, 모델 재훈련 없이 훈련 및 추론 중에 지역화 정도를 동적으로 제어하는 조정 가능한 매개변수이다. 이는 주의 메커니즘에 대한 그룹 희소성 페널티, 정보 이론적 앵커 설계 및 동적 규칙 주입을 통해 달성된다. 본 논문은 주의가 의미적으로 관련된 블록에 집중하는 명시적 임계 조건에 대한 엄격한 수학적 증명을 제공하며, 주의 엔트로피와 포인터 충실도에 대한 지수 경계를 제공한다. 특히, 그룹 희소성 페널티가 특정 임계값을 초과할 때 모델의 주의 메커니즘이 의미적으로 관련된 블록에 집중하여 낮은 엔트로피와 높은 충실도를 달성하며 오류가 거의 없음을 증명한다. 이 프레임워크는 실무자가 해석 가능 모드와 고성능 모드 간에 지속적으로 보간할 수 있도록 하여 투명성과 기능을 모두 요구하는 규제 도메인에서의 응용을 지원한다.
