Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

¿Las subredes dispersas exhiben atención cognitivamente alineada? Efectos de la poda en la fidelidad, la dispersión y la coherencia conceptual de los mapas de saliencia.

Created by
  • Haebom

Autor

Sanish Suwal, Dipkamal Bhusal, Michael Clifford, Nidhi Rastogi

Describir

Si bien el impacto de la poda de redes neuronales en el rendimiento de los modelos es bien conocido, su impacto en la interpretabilidad de los mismos aún no está claro. En este estudio, investigamos cómo el ajuste fino tras la poda basada en tamaño altera los mapas de importancia de bajo nivel y las representaciones conceptuales de alto nivel. Utilizando ResNet-18 entrenado en ImageNette, comparamos las interpretaciones posteriores de los gradientes Vanilla (VG) y los gradientes integrados (IG) según los niveles de poda, evaluando la escasez y la fidelidad. Además, aplicamos la extracción de conceptos basada en CRAFT para rastrear los cambios en la consistencia semántica de los conceptos aprendidos.

Takeaways, Limitations

Una poda ligera a moderada mejora el enfoque y la fidelidad del mapa de importancia al tiempo que mantiene conceptos distintos y significativos.
La poda excesiva reduce la escasez y la consistencia conceptual del mapa de importancia al fusionar características dispares y mantener la precisión.
Aunque la poda puede moldear las representaciones internas para que adopten patrones de atención similares a los humanos, la poda excesiva dificulta la interpretabilidad.
👍