Apprentissage statistique
Objectifs
Comprendre les différents modèles de l’état de l’art (modèle linéaire : régression et classification, pénalisation, méthodes locales, SVM, forêt) ; Connaître les cas d’usage de ces modèles ; Savoir comparer empiriquement différents modèles pour une tâche donnée ; Savoir implémenter les méthodes étudiées en Python ou R
Plan
Apprentissage supervisé ; Régression ; Classification ; Minimisation du risque empirique ; Évaluation des modèles ; Validation croisée ; Approximation fonctionnelle ; Complexité des modèles ; Optimisation à grande échelle ; Descente de gradient stochastique ; Régularisation ; RIDGE et LASSO ; Machine à vecteur de support ; Astuce du noyau ; Méthodes d’ensemble ; Agrégation et Boosting ; Forêt aléatoire.
Prérequis
Régression, régression logistique, convergence de lois de probabilité, théorème central-limite, algèbre linéaire, classification par arbre, programmation avec R, programmation orientée objet, optimisation : maximisation d’une fonction, algorithme de Newton