Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Réseaux de Fourier de Kolmogorov-Arnold

Created by
  • Haebom

Auteur

Jusheng Zhang, Yijia Fan, Kaitong Cai, Keze Wang

Contour

Bien que les réseaux interprétables de type Kolmogorov-Arnold (KAN) possèdent une forte expressivité théorique, ils sont confrontés à des problèmes d'explosion de paramètres et de capture de caractéristiques haute fréquence dans les tâches de grande dimension. Pour relever ces défis, cet article propose un réseau de Kolmogorov-Arnold-Fourier (KAF) qui intègre efficacement des caractéristiques aléatoires de Fourier (RFF) apprenables et un nouveau mécanisme d'activation hybride GELU-Fourier afin d'équilibrer l'efficacité des paramètres et les capacités de représentation spectrale. Nos principales contributions comprennent : (1) la réduction significative des paramètres en fusionnant la structure matricielle duale des KAN avec la propriété de couplage matriciel ; (2) l'introduction d'une stratégie d'initialisation RFF apprenable pour éliminer la distorsion spectrale dans les tâches d'approximation de grande dimension ; et (3) la mise en œuvre d'une fonction d'activation hybride adaptative qui améliore progressivement la représentation fréquentielle pendant l'apprentissage. Des expériences approfondies démontrent la supériorité du KAF dans divers domaines, notamment la vision, le traitement du langage naturel (TALN), le traitement audio et la résolution d'équations différentielles, alliant efficacement interprétabilité théorique, pragmatisme et efficacité de calcul.

Takeaways, Limitations

Takeaways:
Nous présentons une nouvelle architecture de réseau (KAF) qui répond efficacement aux problèmes d'explosion des paramètres et de capture de fonctionnalités haute fréquence du KAN dans les tâches à haute dimension.
Représentation spectrale améliorée et efficacité des paramètres grâce à des stratégies d'initialisation RFF apprenables et à des fonctions d'activation hybrides adaptatives.
A démontré d'excellentes performances dans divers domaines tels que la vision, la PNL, le traitement audio et la résolution d'équations différentielles.
Atteindre simultanément l’interprétabilité théorique, la praticité et l’efficacité informatique.
Limitations:
Des recherches supplémentaires sont nécessaires sur les performances de généralisation du KAF proposé.
Des expériences plus approfondies sur divers ensembles de données de grande dimension sont nécessaires.
Des recherches supplémentaires sont nécessaires sur l’optimisation spécifique des hyperparamètres.
👍