[공지사항]을 빙자한 안부와 근황 
Show more

Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Modelo de consistencia de representación robusta mediante eliminación de ruido contrastivo

Created by
  • Haebom

Autor

Jiachen Lei, Julius Berner, Jiongxiao Wang, Zhongzhu Chen, Zhongjia Ba, Kui Ren, Jun Zhu, Anima Anandkumar

Describir

Este artículo presenta un método para mejorar la robustez de las redes neuronales profundas, especialmente en aplicaciones de seguridad crítica. Las técnicas de suavizado aleatorio existentes garantizan la robustez frente a perturbaciones adversarias, pero son vulnerables a grandes perturbaciones y presentan altos costos computacionales. Para abordar esto, este artículo replantea la tarea de modelado generativo en suavizado aleatorio utilizando un modelo de difusión como una tarea discriminativa en el espacio de píxeles. Al alinear puntos temporalmente adyacentes mediante discriminación de instancias en el espacio latente, obtenemos representaciones consistentes a lo largo de la trayectoria de difusión. Tras el ajuste fino basado en la representación aprendida, realizamos la eliminación de ruido y la clasificación implícitas mediante una única predicción, lo que reduce significativamente el costo de inferencia. Mediante experimentos con diversos conjuntos de datos, demostramos que se logra un rendimiento de vanguardia con un costo computacional mínimo. Por ejemplo, en ImageNet, mejoramos la precisión certificada en un promedio del 5,3 % y hasta un 11,6 % en todos los radios de perturbación, en comparación con los métodos existentes basados ​​en difusión, a la vez que reducimos el costo de inferencia en un promedio de 85 veces.

Takeaways, Limitations

Takeaways:
Un nuevo enfoque para mejorar la robustez de las redes neuronales profundas mediante suavizado aleatorio.
Aprendizaje de representaciones consistentes y reducción de costos de inferencia a lo largo del camino de difusión a través de la discriminación de instancias en el espacio latente.
Logre una robustez y eficiencia que supere el rendimiento de última generación anterior en una variedad de conjuntos de datos, incluido ImageNet.
Excelente rendimiento incluso en grandes radios de perturbación.
Limitations:
Se necesita más investigación sobre el rendimiento de generalización del método propuesto.
Necesidad de evaluar las dependencias en conjuntos de datos y arquitecturas de modelos específicos.
Se necesita un análisis comparativo más profundo con otras técnicas de suavizado aleatorio.
👍