본 논문은 전문가 혼합(MoE) 모델의 확장성을 높이는 새로운 방법인 테스트 시간 모델 병합(TTMM)을 제안합니다. 기존 MoE 모델은 훈련 및 추론 비용 때문에 전문가의 수가 제한적이었지만, TTMM은 모델 병합을 통해 테스트 시간 오버헤드를 최소화하면서 훨씬 많은 전문가를 사용할 수 있도록 합니다. TTMM은 각 예측 작업(즉, 프롬프트)에 대해 전문가 모델을 미세 조정하는 테스트 시간 훈련(TTT)의 근사치임을 보여주며, TTT보다 훨씬 빠른 속도로 TTT와 유사한 성능을 달성합니다. 10억 파라미터 기반 모델을 사용한 실험 결과, TTMM은 TTT보다 테스트 시간에 100배 이상 빠른 속도를 보였습니다.
