본 논문은 대규모 언어 모델의 계산 효율 저하, 기울기 소멸 문제, 복잡한 특징 상호작용 포착의 어려움 등의 한계를 해결하기 위해 새로운 프레임워크를 제안한다. 이 프레임워크는 학습 가능한 밀집 잔차 건너뛰기 연결 메커니즘, 다중 스케일 합성곱과 적응형 활성화 함수를 통합한 TransformerX 모듈, 그리고 다중 토큰 예측 상호작용 모듈을 포함한다. 학습 가능한 밀집 잔차 연결은 계층 간 정보 흐름과 특징 포착을 향상시키고, TransformerX 모듈은 다양한 크기의 합성곱을 통해 넓은 텍스트 구간의 의미 정보와 지역적 단어 순서 및 구문 구조를 모두 고려한다. 적응형 활성화 함수는 입력 텍스트의 의미적 특징에 따라 매개변수를 동적으로 조정하여 다양한 의미 표현과 복잡한 관계를 효과적으로 처리한다. 마지막으로 다중 토큰 예측 모듈은 여러 미래 토큰을 예측하여 데이터 활용도를 높이고 추론 속도를 높인다. 이러한 구성 요소들은 대규모 언어 모델의 성능과 효율을 크게 향상시킨다.
