Webinaire "Neural Networks with Feature Sparsity"

MoroccoAI organise le mercredi 19 mai à 20h (GMT +1) un webinaire sous le thème « Neural Networks with Feature Sparsity »

Durant ce webinaire, Ismael Lemhadri, PhD candidate à Stanford University et sous la direction de Rob Tibshirani, va présenter son travail sur les réseaux neurones.

En ligne sur YouTube

Inscription

Résumé

Beaucoup de travail a été fait récemment pour rendre les réseaux de neurones plus interprétables, et une approche consiste à faire en sorte que le réseau n'utilise qu'un sous-ensemble des fonctionnalités disponibles. Dans les modèles linéaires, la régression Lasso (ou régularisée L1) attribue des poids nuls aux caractéristiques les plus non pertinentes ou redondantes, et est largement utilisée en science des données. Cependant, le Lasso ne s'applique qu'aux modèles linéaires. Dans ce webinaire, M. Lemhadri présentera LassoNet, un cadre de réseau neuronal avec une sélection globale de fonctionnalités. L'approche proposée impose une hiérarchie: spécifiquement une entité ne peut participer à une unité cachée que si son représentant linéaire est actif. Contrairement à d'autres approches de sélection de caractéristiques pour les réseaux neuronaux, la méthode utilise une fonction objective modifiée avec des contraintes, et intègre ainsi la sélection de caractéristiques avec l'apprentissage des paramètres directement. En conséquence, il offre un chemin de régularisation complet des solutions avec une gamme de fonctionnalités rares. Sur les expériences systématiques, LassoNet surpasse considérablement les méthodes de pointe pour la sélection de caractéristiques et la régression. La méthode LassoNet utilise une descente de gradient proximale projetée et se généralise directement aux réseaux profonds.