Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Redes de Fourier de Kolmogorov-Arnold

Created by
  • Haebom

Autor

Jusheng Zhang, Yijia Fan, Kaitong Cai, Keze Wang

Describir

Si bien las redes interpretables basadas en Kolmogorov-Arnold (KAN) poseen una potente expresividad teórica, enfrentan problemas de explosión de parámetros y captura de características de alta frecuencia en tareas de alta dimensión. Para abordar estos desafíos, este artículo propone una red Kolmogorov-Arnold-Fourier (KAF) que integra eficazmente características aleatorias de Fourier (RFF) aprendibles y un novedoso mecanismo híbrido de activación GELU-Fourier para equilibrar la eficiencia de los parámetros y las capacidades de representación espectral. Nuestras principales contribuciones incluyen: (1) reducir significativamente los parámetros mediante la fusión de la estructura matricial dual de las KAN con la propiedad de acoplamiento matricial; (2) introducir una estrategia de inicialización de RFF aprendible para eliminar la distorsión espectral en tareas de aproximación de alta dimensión; y (3) implementar una función de activación híbrida adaptativa que mejora progresivamente la representación de frecuencia durante el entrenamiento. Experimentos exhaustivos demuestran la superioridad de KAF en diversos dominios, incluyendo visión, PLN, procesamiento de audio y resolución de ecuaciones diferenciales, combinando eficazmente la interpretabilidad teórica con la practicidad y la eficiencia computacional.

Takeaways, Limitations

Takeaways:
Presentamos una nueva arquitectura de red (KAF) que aborda eficazmente los problemas de explosión de parámetros y captura de características de alta frecuencia de KAN en tareas de alta dimensión.
Representación espectral mejorada y eficiencia de parámetros a través de estrategias de inicialización de RFF aprendibles y funciones de activación híbridas adaptativas.
Demostró un desempeño excelente en diversos campos como visión, PNL, procesamiento de audio y resolución de ecuaciones diferenciales.
Lograr simultáneamente interpretabilidad teórica, practicidad y eficiencia computacional.
Limitations:
Se necesita más investigación sobre el rendimiento de generalización del KAF propuesto.
Se necesitan experimentos más amplios en diversos conjuntos de datos de alta dimensión.
Se necesita más investigación sobre la optimización de hiperparámetros específicos.
👍