Séminaire Probabilités et Statistiques
Régression parcimonieuse sur l’espace des mesures pour le Modèle de Mélange Gaussien. (Yohann De Castro)
29
fév. 2024
logo_team
Intervenant : Yohann De Castro
Institution : EC Lyon
Heure : 15h45 - 16h45

Résumé: Le modèle de mélange Gaussien (MMG) est un modèle important en apprentissage automatique dit non-supervisé. Il permet d’obtenir une partition d’un nuage de points.  Dans cet exposé, nous présenterons une nouvelle façon de résoudre ce problème basée sur un modèle de régression parcimonieuse sur l’espace des mesures. Ce point de vue nous permettra de lever un verrou en MMG: la selection de la taille du modèle, ici le nombre de composantes de mélange. Nous donnerons des guaranties théoriques à cette approche. On montera que notre approche est compatible avec des techniques de reduction de dimension, telle que le « sketching ». Dans le cadre des GMM cela revient à projeter le nuage de point dans un espace de dimension ne dépendant pas du nombre de points mais de la taille du modèle à estimer (à des facteurs log près). Dans la pratique cela permet de faire passer le MMG à des échelles importantes, entendues ici un nombre de points important. En espérant que je ne sois pas trop long sur ces premiers aspects, j’aborderai en fin d’exposé un algorithme pour résoudre le problème de regression sur l’espace des mesures que nous aurons considéré. Cet algorithme, dit de descente de gradient de particule sur le cône, est compatible avec le « sketching » évoqué plus haut. On montrera qu’il est possible de donner des guaranties théoriques à la version stochastique de cette descente de gradient. 

Les résultats exposés sont le fruit de contributions sur des sujets très proches de plusieurs chercheuses et chercheurs parmi lesquel·les Claire Boyer, Cathy Maugis, Clément Marteau, Sébastien Gadat, Vincent Duval, Rémi Gribonval, Gabriel Peyré, Clarice Poon, Nicolas Jouvin, Lénaïc Chizat, Francis Bach, et Gilles Blanchard.  Un article introduisant cette nouvelle méthode est «  SuperMix: Sparse Regularization for Mixtures », avec S. Gadat & C. Marteau & C. Maugis-Rabusseau, Annals of Statistics, 2021, Vol. 49, No. 3, 1779-1809.

Voir tous les événements