기존 스파이킹 신경망(SNN)은 여러 개의 서브네트워크 조합으로 볼 수 있으며, 각 서브네트워크는 한 시간 단계 동안 작동하고, 매개변수는 공유되며, 막 전위가 서브네트워크 간 유일한 정보 연결 역할을 합니다. 하지만 막 전위의 암시적 특성으로 인해 시간 정보를 효과적으로 표현하는 데 한계가 있습니다. 결과적으로 각 시간 단계는 이전 시간 단계의 정보를 완전히 활용하지 못하고 모델 성능을 심각하게 제한합니다. 본 논문에서는 뇌의 상향식 메커니즘에서 영감을 얻어, 계층적으로 기능하고 이전 시간 단계의 고차원 표현을 활용하여 후속 단계의 저차원 정보 처리를 조절하는 상향식 피드백 구조를 갖는 새로운 모델 TDFormer를 제안합니다. 피드백 구조는 두 가지 관점에서 역할을 합니다. 1) 순전파 중 모델은 시간 단계 간 상호 정보를 증가시켜 더 풍부한 시간 정보가 전달되고 통합됨을 나타냅니다. 2) 역전파 중 피드백 구조는 시간 차원을 따라 사라지는 기울기 문제를 완화한다는 것을 이론적으로 증명합니다. 이러한 메커니즘을 통해 여러 데이터셋에서 모델 성능이 크고 일관되게 향상됨을 발견했습니다. 특히, ImageNet에서 86.83%의 정확도로 최첨단 성능을 달성했습니다.
