본 논문은 다차원 조합 임베딩을 위한 새로운 대수적 구조를 제시합니다. 이 구조는 방향성 비가환 모노이드 연산자를 기반으로 하며, 각 차원을 따라 결합 법칙을 만족하고 전역적 일관성을 보장하는 교환 법칙을 갖는다는 매력적인 이론적 특성을 보입니다. 각 축 i에 대해 별도의 조합 연산자 circ_i를 정의하여 각 축을 따라 결합적 연산을 보장하면서 전역적 가환성은 요구하지 않습니다. 중요한 점은 모든 축 특정 연산자들이 서로 가환적이어서, 일관된 축 간 조합을 가능하게 하는 전역 교환 법칙을 강제합니다. 이는 고전적인 시퀀스 모델링 패러다임(예: 구조적 상태 공간 모델(SSM) 및 트랜스포머 자기 주의)을 통합된 다차원 프레임워크로 일반화하는 공통 기반을 제공하는 최초의 접근 방식입니다. 본 프레임워크의 특정 1차원 인스턴스는 친숙한 아핀 변환 대수, 일반 자기 주의 및 SSM 스타일의 순환을 복구할 수 있습니다. 고차원 일반화는 임베딩 공간에서 재귀적이고 구조 인식 연산을 자연스럽게 지원합니다. 트랜스포머의 구조적 위치 인코딩, 방향 이미지 임베딩 및 시퀀스 또는 그리드의 기호 모델링을 포함하여 이 구조에 의해 열리는 몇 가지 잠재적 응용 프로그램을 간략하게 설명하며, 이는 미래의 심층 학습 모델 설계에 정보를 제공할 수 있음을 시사합니다. 본 논문에서는 프레임워크의 대수적 특성을 공식적으로 확립하고 효율적인 구현에 대해 논의합니다. 이론적 측면에 초점을 맞추었으므로 실험은 포함하지 않으며, 실증적 검증은 향후 작업으로 미루겠습니다.
