Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

APTx Neuron: una arquitectura neuronal unificada y entrenable que integra activación y computación

Created by
  • Haebom

Autor

Ravin Kumar

Describir

En este artículo, proponemos una novedosa unidad computacional neuronal unificada, la neurona APTx, que integra activaciones no lineales y transformaciones lineales en una única representación aprendible. La neurona APTx se deriva de la función de activación APTx y no requiere una capa de activación independiente, lo que resulta en una arquitectura computacionalmente eficiente y elegante. La neurona propuesta tiene la forma funcional $y = \sum_{i=1}^{n} ((\alpha_i + \tanh(\beta_i x_i)) \cdot \gamma_i x_i) + \delta$, donde todos los parámetros $\alpha_i$, $\beta_i$, $\gamma_i$ y $\delta$ son aprendibles. Validamos la arquitectura basada en la neurona APTx en el conjunto de datos MNIST, logrando una precisión de prueba de hasta el 96,69 % en solo 20 épocas con aproximadamente 332 000 parámetros aprendibles. Estos resultados resaltan el poder expresivo superior y la eficiencia computacional de las neuronas APTx en comparación con las neuronas convencionales, y sugieren un nuevo paradigma para el diseño de neuronas integradas y arquitecturas construidas sobre ellas.

Takeaways, Limitations

Takeaways:
Se presenta una nueva arquitectura neuronal que mejora la eficiencia computacional al integrar la activación no lineal y la transformación lineal.
Verificado a través de experimentos en el conjunto de datos MNIST que tiene un poder expresivo y una precisión superiores en comparación con las neuronas existentes.
Presentando un nuevo paradigma para el diseño integrado de neuronas
Limitations:
Validado utilizando únicamente el conjunto de datos MNIST, se necesita validación del rendimiento en otros conjuntos de datos complejos.
Se necesitan más estudios sobre el rendimiento de generalización de las neuronas APTx propuestas.
Se debería realizar un análisis comparativo con otras estructuras neuronales con mayor profundidad.
👍