본 논문은 오디오 스펙트로그램 패치를 이용하여 학습된 Masked Autoencoders (MAEs)를 개선한 AudioMAE++를 제안합니다. 기존 MAE는 주로 일반적인 Transformer 블록을 사용하지만, AudioMAE++는 macaron-style Transformer 블록과 gated linear units를 도입하여 성능 향상을 이끌어냈습니다. AudioSet 데이터셋으로 사전 학습된 AudioMAE++는 10가지 다양한 하위 작업에서 기존 MAE 기반 접근 방식보다 우수한 성능을 보이며, 특히 오디오 분류 및 음성 기반 벤치마크에서 탁월한 성능을 나타냅니다. 또한, 매개변수를 최대 4배까지 늘려도 기존 MAE 기준 모델보다 우수한 확장성을 보여줍니다.
