사전 학습된 모델의 모듈 교체, 특히 이차적 셀프 어텐션을 효율적인 어텐션 대안으로 바꾸는 것은 어려운 최적화 문제를 야기한다. 즉, 콜드 스타트 재초기화는 고정된 백본을 불안정하게 만든다. 본 연구는 이러한 안정성 문제를 제어된 연구 환경에서 분리하여 분석한다. Deterministic Continuous Replacement (DCR)은 교사(teacher)와 학생(student)의 출력을 결정적이고 어닐링된 가중치로 혼합한다. 이론적으로 DCR은 확률적 교체에 내재된 게이트 유도 기울기 분산을 제거한다. 단일 시드 연구에서 DCR은 제어된 어텐션 교체에 대해 확률적 게이팅 및 증류(distillation) 기준선보다 더 빠른 수렴과 더 강력한 정렬을 달성하여, 이종 연산자 교체의 기반을 마련한다.
