표준 Transformer(TF) 아키텍처의 고정된 균일한 계산 할당은 특히 대규모 모델과 긴 시퀀스에 대해 효율성과 확장성을 제한할 수 있습니다. 이를 해결하기 위해, 저자들은 Bayesian surprise 신호를 활용하여 동적으로 계산을 라우팅하는 두 가지 아키텍처, Subjective Depth Transformers (SDT)와 Subjective Timescale Transformers (STT)를 소개합니다. SDT는 Bayesian surprise (예상 및 예상치 못한 변화)에 기반하여 Top-K 라우팅을 사용하며, STT는 각 토큰에 대해 TF 블록을 동적으로 실행하거나 우회하는 라우터를 갖추고 있습니다. 두 아키텍처 모두 훈련을 통해 novelty에서 prediction driven gating으로의 이동을 보여주며, 조건부 계산의 compute-accuracy trade-off에 대한 통찰력을 제공합니다. 제안된 아키텍처는 효율성을 위한 유연한 프레임워크를 구축하여 자체 주의 계산을 75% 줄이고 KV-cache 요구 사항을 50% 줄입니다.
