대규모 언어 모델(LLM)의 최근 발전에도 불구하고, 내부 추론 과정의 불투명성으로 인해 중요한 응용 분야에서 해석력과 신뢰성이 제한됩니다. 본 논문에서는 주제, 맥락, 단어 수준의 세부 정보를 포착하는 전역, 중간, 지역 의미 다양체로 잠재 공간을 분해하는 새로운 다중 스케일 다양체 정렬 프레임워크를 제안합니다. 제안하는 방법은 기하학적 정렬(예: 프로크루스테스 분석)과 정보 보존(MINE 또는 VIB와 같은 상호 정보 제약 조건을 통해)을 공동으로 강화하는 크로스 스케일 매핑 함수를 도입합니다. 또한 안정적인 최적화를 위해 곡률 규제와 하이퍼파라미터 조정을 통합합니다. 이론적 분석에 따르면, KL 발산으로 측정된 정렬 오류는 온화한 가정 하에 경계를 지을 수 있습니다. 본 프레임워크는 LLM이 다중 스케일 의미를 구성하는 방법에 대한 통합적인 설명을 제공하여 해석력을 향상시키고 편향 감지 및 강건성 향상과 같은 응용 프로그램을 가능하게 합니다.
