본 논문은 다층 퍼셉트론(MLP)의 효율성을 개선하기 위해 다중 스케일 텐서 합산(MTS) 인수분해라는 새로운 신경망 연산자를 제안합니다. MTS는 튜커 분해와 유사한 모드 곱을 통해 얻어진 여러 스케일의 텐서 합산을 구현하며, 네트워크 압축 도구가 아닌 새로운 백본 신경망 계층으로 사용됩니다. 기존의 완전 연결층보다 매개변수 수를 줄이고 가중치 최적화 효율을 높일 뿐만 아니라, 합성곱 계층보다도 장점을 보입니다. 제안된 MTS 네트워크는 분류, 압축, 신호 복원 등 다양한 작업에서 MLP 및 CNN보다 효과적임을 실험적으로 보여줍니다. 또한, 새롭게 제안된 다중 헤드 게이트(MHG) 비선형 유닛과 결합된 MTSNet은 다양한 컴퓨터 비전 애플리케이션에서 최첨단 트랜스포머보다 유리한 복잡도-성능 절충안을 제공합니다. MTS 계층과 MTS 기반 네트워크인 MTSNet의 소프트웨어 구현은 깃허브에서 공개됩니다.
