본 논문은 대규모 언어 모델의 계산 효율성 저하, 기울기 소멸 문제, 복잡한 특징 상호작용 포착의 어려움 등의 한계를 극복하기 위해 새로운 프레임워크를 제안한다. 이 프레임워크는 학습 가능한 밀집 잔차 건너뛰기 연결 메커니즘, 다중 스케일 합성곱과 적응형 활성화 함수를 통합한 TransformerX 모듈, 그리고 다중 토큰 예측 상호작용 모듈을 포함한다. 학습 가능한 밀집 잔차 연결은 계층 간 정보 흐름과 특징 포착을 향상시키고, TransformerX 모듈은 큰 합성곱 커널을 통해 넓은 텍스트 구간의 의미 정보를 집계하고 작은 합성곱을 통해 국소적인 단어 순서와 구문 구조에 집중한다. 적응형 활성화 함수는 입력 텍스트의 의미적 특징에 따라 매개변수를 동적으로 조정하여 다양한 의미 표현과 복잡한 관계를 처리하는 모델의 능력을 향상시킨다. 마지막으로 다중 토큰 예측 모듈은 여러 미래 토큰을 예측하여 데이터 활용도를 높이고 추론 속도를 높인다. 이러한 구성 요소들은 대규모 언어 모델의 성능과 효율성을 크게 향상시킨다.
