본 논문은 Transformer의 장기 의존성 포착 능력과 State Space Model (SSM)의 선형 시간 시퀀스 모델링 능력을 결합하는 새로운 하이브리드 모델 TransXSSM을 제안합니다. Transformer와 SSM의 위치 인코딩 방식 차이(Transformer의 RoPE와 SSM의 암시적 위치 표현)로 인한 성능 저하 문제를 해결하기 위해, 통합된 회전 위치 임베딩(Unified RoPE) 기법을 제시합니다. Unified RoPE를 사용하여 Transformer와 SSM 계층을 일관되게 통합함으로써, 4K 길이의 시퀀스에서 기존 Transformer 모델보다 학습 및 추론 속도가 각각 42.3%, 29.5% 향상되고, 언어 모델링 벤치마크에서 4% 이상 높은 정확도를 달성합니다. 또한, 모델 크기 증가에 따른 성능 향상 효율도 더 높음을 보여줍니다.
