Sign In

Localist LLMs -- A Mathematical Framework for Dynamic Locality Control

Created by
  • Haebom
Category
Empty

저자

Joachim Diederich

개요

본 논문은 해석 가능하고 규칙 기반의 localist 표현부터 일반화 가능하고 효율적인 distributed 표현까지 전체 스펙트럼을 포괄하는 지속적으로 조정 가능한 내부 표현으로 대규모 언어 모델을 학습하기 위한 새로운 프레임워크를 제시한다. 핵심 혁신은 모델 재학습 없이 훈련 및 추론 중에 지역화 정도를 동적으로 제어하는 조정 가능한 매개변수인 '지역성 다이얼'이다. 이는 어텐션 메커니즘에 대한 그룹 희소성 페널티, 정보 이론적 앵커 디자인, 동적 규칙 주입을 통해 달성된다.

시사점, 한계점

시사점:
해석 가능성과 고성능 모드 간의 지속적인 보간을 지원하여 투명성과 성능이 모두 필요한 규제 분야에 적용 가능.
어텐션 메커니즘이 의미적으로 관련된 블록에 집중하도록 보장하는 명시적인 임계 조건에 대한 엄격한 수학적 증명 제시.
어텐션 엔트로피 및 포인터 충실도에 대한 지수적 경계를 설정.
한계점:
논문에 구체적인 한계점 언급 없음.
👍