본 논문은 시계열 예측을 위한 최첨단 모델 구축에 있어 토큰화 및 전이 학습의 효과를 체계적으로 연구한다. 특히 토크나이저 설계, 스케일링, 양자화 전략의 영향과 사전 훈련 대 무작위 초기화의 영향을 분석한다. 토크나이저 구성은 모델의 표현력과 안정성을 주로 결정하며, 전이 학습은 최적화 효율성과 정렬에 영향을 미친다는 것을 보여준다. 사전 훈련된 모델은 잘 설계된 토크나이저를 더욱 효과적으로 활용하며, 특히 작은 어휘 크기에서 이점이 크다. 잘못 정렬된 토큰화는 사전 훈련의 이점을 감소시키거나 심지어 반전시킬 수 있다.
