본 논문은 Transformer의 장기 의존성 포착 능력과 State Space Model (SSM)의 선형 시간 시퀀스 모델링 능력을 결합한 새로운 하이브리드 아키텍처인 TransXSSM을 제안합니다. Transformer와 SSM의 위치 인코딩 방식의 차이(Transformer는 RoPE, SSM은 convolution을 통한 암시적 표현)로 인한 성능 저하 문제를 해결하기 위해, 통합된 회전 위치 임베딩(Unified RoPE) 기법을 제시합니다. Unified RoPE를 통해 Transformer와 SSM 레이어를 일관된 위치 인코딩 체계 하에 통합함으로써, 기존 Transformer 모델보다 훈련 및 추론 속도가 각각 42.3%, 29.5% 향상되었고, 언어 모델링 벤치마크에서 4% 이상의 정확도 향상을 달성했습니다. 또한, 모델 크기 확장에 있어서도 더 효율적인 성능을 보였습니다.
