En este artículo, proponemos un mecanismo de atención diferencial que integra la operación softmax doble y coeficientes diferenciales ajustados para resolver el mecanismo de atención ineficiente de la arquitectura Transformer estándar, que es Limitations, en el aprendizaje autosupervisado de audio. El modelo ASDA propuesto alcanza un rendimiento de vanguardia (SOTA) en tareas de clasificación de audio, descubrimiento de palabras clave y clasificación de sonido ambiental en diversos benchmarks como AS-2M, AS20K, SPC-2 y ESC-50. Esto demuestra la eficiencia del modelo ASDA y sugiere su amplia aplicabilidad.
