Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Reformulando el algoritmo de avance hacia adelante con un objetivo basado en la similitud

Created by
  • Haebom

Autor

James Gong, Raymond Luo, Emma Wang, Leon Ge, Bruce Li, Felix Marattukalam, Waleed Abdulla

Describir

Este artículo se centra en mejorar el rendimiento del algoritmo forward-forward, propuesto para superar las limitaciones del algoritmo de retropropagación, como su impracticabilidad biológica y la propagación global de errores. Los algoritmos forward-forward existentes han presentado deficiencias significativas en precisión y eficiencia de inferencia. En este estudio, proponemos el algoritmo FAUST (Algoritmo Forward-Forward Unificado con Pérdida de Tupletes Basada en Similitud), que integra un marco de aprendizaje de similitud en el algoritmo forward-forward, eliminando la necesidad de múltiples pases de propagación hacia adelante durante el proceso de inferencia. Los resultados experimentales con los conjuntos de datos MNIST, Fashion-MNIST y CIFAR-10 demuestran que FAUST mejora significativamente la precisión en comparación con los algoritmos forward-forward existentes, reduciendo la brecha de rendimiento con el algoritmo de retropropagación. Específicamente, en el conjunto de datos CIFAR-10, utilizando una arquitectura de perceptrón multicapa simple, logramos una precisión del 56,22 %, acercándonos al 57,63 % del algoritmo de retropropagación.

Takeaways, Limitations

Takeaways:
Demostramos que la precisión del algoritmo de avance hacia adelante se puede mejorar utilizando técnicas de aprendizaje de similitud.
Proporciona una alternativa biológicamente más plausible al algoritmo de retropropagación.
Mejorar la eficiencia del proceso de inferencia para aumentar la aplicabilidad práctica.
Limitations:
Todavía existe una brecha de precisión en comparación con el algoritmo de retropropagación en el conjunto de datos CIFAR-10.
Se requiere una evaluación del rendimiento para estructuras de red más complejas o conjuntos de datos grandes.
Se necesita más investigación sobre el rendimiento de generalización del algoritmo FAUST.
👍