예측 부호화(PC)는 신경망 훈련을 위한 생물학적으로 타당한 backpropagation의 대안을 제공하지만, 더 깊은 아키텍처에서는 어려움을 겪습니다. 본 논문은 그 근본 원인을 깊이에 따라 기울기가 기하급수적으로 감소하는 고유한 신호 감쇠 문제로 확인하고, 이로 인해 수치적 정밀도 제약으로 인해 계산상 무시할 수 있게 됩니다. 이러한 근본적인 한계를 해결하기 위해, 본 논문에서는 PC의 이론적 특성을 유지하면서 신호 감쇠를 제거하는 새로운 재매개변수화인 오류 최적화(EO)를 제시합니다. 상태가 아닌 예측 오류를 최적화함으로써, EO는 신호가 모든 계층에 동시에 감쇠 없이 도달할 수 있도록 하여 기존 PC보다 훨씬 빠르게 수렴합니다. 여러 아키텍처와 데이터 세트에 대한 실험을 통해 EO가 기존 PC가 어려움을 겪는 더 깊은 모델에서도 backpropagation의 성능과 일치함을 보여줍니다. 실질적인 개선 외에도, 본 연구는 PC 역학에 대한 이론적 통찰력을 제공하고 디지털 하드웨어 및 그 이상에서 더 깊은 아키텍처로 생물학적으로 영감을 받은 학습을 확장하기 위한 기반을 마련합니다.
