Apprentissage statistique et rééchantillonnage

Sylvain Arlot

Master 2 "Mathématiques de l'Aléatoire" (Probabilités et Statistiques + Statistiques et Machine Learning)

Université Paris-Saclay (Faculté des Sciences d'Orsay)

1er semestre, 2024/2025

Les cours ont lieu le lundi matin, à l'Institut de Mathématiques d'Orsay (bâtiment 307), salle 1A14.

20h, 5 ECTS

Notes de cours:

Fondamentaux de l'apprentissage statistique (1ère partie du cours: 5 à 6 séances).
Il s'agit d'une version légèrement mise à jour d'un chapitre de livre.
Validation croisée (2ème partie du cours: 1 à 2 séances).
Il s'agit d'une version légèrement mise à jour d'un chapitre de livre.
Rééchantillonnage (3ème et dernière partie du cours: 1 séance environ)

Dates des cours:
23-30/09, 07-14-28/10, 4-18-25/11
Pas de cours le 21/10, ni le 11/11!

Devoir maison à rendre au plus tard le 28/10 à 10h (par mail ou en classe). Si vous n'avez pas eu le sujet (distribué en classe): demandez-le moi par mail.

Plan du cours approximatif:

Prévision, régression et classification -- Minimisation du risque empirique 1/3 (Fondamentaux, sections 1 à 3.3)
Minimisation du risque empirique 2/3 (Fondamentaux, sections 3.4 à 3.7.3)
Minimisation du risque empirique 3/3 (Fondamentaux, section 3.7, fin) -- Coûts convexes en classification (Fondamentaux, section 4)
Moyenne locale (Fondamentaux, section 5)
21/10: pas de cours
On n'a rien sans rien (Fondamentaux, section 6) -- Bilan sur l'apprentissage (1/2)
Bilan sur l'apprentissage (2/2) (Fondamentaux, section 7 + compléments) -- Validation croisée 1/2 (sections 1 à 2)
11/11: pas de cours
Validation croisée 2/2 (sections 3 à 6)
Rééchantillonnage

Résumé

La première partie du cours sera consacrée aux fondements de la théorie statistique de l'apprentissage supervisé, en classification et en régression. Nous démontrerons des bornes sur l'erreur de prédiction de plusieurs méthodes d'apprentissage parmi les plus classiques: moyennes locales (partitions, k plus proches voisins, noyaux) et minimisation du risque empirique. Ces résultats montreront en particulier que certaines de ces méthodes sont « universellement consistantes ». En revanche, nous verrons qu'un apprentissage totalement agnostique n'est possible que dans certaines limites (« on n'a rien sans rien »), ce qui se formalise mathématiquement par plusieurs théorèmes aux énoncés plutôt contre-intuitifs. Nous étudierons enfin les liens qui existent entre le risque 0-1 usuel en classification et les « risques convexes », souvent utilisés pour des raisons algorithmiques.
La deuxième partie du cours s'intéressera à deux questions cruciales une fois construite une règle d'apprentissage: comment choisir ses paramètres, et comment estimer son erreur de prédiction « future »? Nous nous focaliserons sur deux types de solutions « universelles »: la validation croisée et le rééchantillonnage (bootstrap, sous-échantillonnage, etc.).

Retour à l'index - Back to index