Modèles avancés de régression
Objectifs
En modélisation statistique, le cadre habituel d’un modèle paramétrique est le plus souvent une simplification conve- niente du "vrai modèle" qui décrit le phénomène aléatoire qui nous intéresse. Le cadre paramétrique est typiquement suffisant pour la description de situations simples, mais perd rapidement de sa pertinence lorsqu’il s’agit de modéliser des situations plus complexes telles que les problèmes de régression. L’approche opposée consiste à définir un modèle beaucoup plus général, appelé "modèle non paramétrique", dans lequel une distribution est caractérisée par une fonction et non par un vecteur de paramètres à valeur réelle. L’identification de la distribution sous-jacente est alors équivalente à l’estimation de cette fonction.
Dans ce cours, nous discutons des méthodes populaires d’estimation de la fonction de régression au-delà de la linéarité. Le premier sujet aborde la régression linéaire locale et la régression polynomiale locale qui permettent une certaine flexibilité dans l’estimation de la fonction de régression. Ensuite, nous étudions comment estimer la fonction de régression en utilisant des expansions de base et des régularisations telles que les splines de lissage. Enfin, nous travaillerons sur des modèles additifs et sur des modèles semi-paramétriques. Un modèle semi-paramétrique contient un paramètre de dimension finie et un paramètre fonctionnel. Ce type de modèle permet de conserver à la fois un potentiel d’interprétabilité des estimations et de prédiction d’événements futurs, dû à la présence de la composante paramétrique, et une bonne flexibilité apportée par sa partie fonctionnelle. Le module se concentre sur deux modèles de ce type : les modèles de régression partiellement linéaire et les modèles à indice unique.
Plan
Lissage dans la régression non paramétrique : concepts généraux (tels que le compromis biais-variance, les noyaux).
Expansion de base, régression pénalisée et régularisation. Définition, propriétés statistiques (biais, variance, cohérence), choix des paramètres de réglage. Implémentation en R.
Méthodes de lissage par noyau telles que la régression linéaire locale et la régression polynomiale locale : définition, propriétés statistiques (biais, variance, cohérence), choix des paramètres de réglage. Implémentation en R. Limites des approches non paramétriques.
Modèles additifs, modèles semi-paramétriques (modèles linéaires partiels et modèles à indice unique) Mise en œuvre en R
Prérequis
Bonne compréhension des cours de régression et modèle linéaire généralisé