본 논문은 시간 순서 데이터 기반 모델(TSFM)의 확장 법칙에 대해 연구합니다. 기존 연구는 주로 훈련 데이터 분포 내(in-distribution, ID) 성능에 집중한 반면, 본 논문은 훈련 데이터 분포 외(out-of-distribution, OOD) 성능 및 모델 아키텍처의 영향을 조사합니다. 인코더 전용 및 디코더 전용 Transformer 두 가지 아키텍처를 사용하여 매개변수 수, 연산량, 데이터셋 크기를 변화시키면서 실험을 진행합니다. 그 결과, TSFM의 로그 우도 손실은 ID 및 OOD 설정 모두에서 유사한 확장 동작을 보이는 것을 발견했습니다. 또한, 최첨단 두 TSFM을 사례 연구로 포함하여 서로 다른 아키텍처 간의 확장 특성을 비교 분석하여 모델 아키텍처가 확장에 중요한 역할을 한다는 것을 보여줍니다. 인코더 전용 Transformer가 디코더 전용 Transformer보다 확장성이 우수하며, 두 개의 고급 TSFM의 아키텍처 개선은 주로 ID 성능을 향상시키지만 OOD 확장성은 감소시킨다는 것을 밝혔습니다. TSFM 확장을 통한 성능 향상이 기대되지만, TSFM 확장 법칙에 대한 포괄적인 이해 부족으로 인해 강력한 모델 확장 프레임워크 개발이 저해되어 왔습니다. 본 연구는 이러한 간극을 메우고 향상된 모델 기능을 갖춘 대규모 TSFM 설계 및 확장을 위한 실용적인 지침을 제공합니다.
