Concevoir et analyser de nouvelles règles d’arrêt prématuré pour économiser les ressources de calcul ; Designing and analysing new early stopping rules for saving computational resources
Titel:
Concevoir et analyser de nouvelles règles d’arrêt prématuré pour économiser les ressources de calcul ; Designing and analysing new early stopping rules for saving computational resources
Anmerkungen:
Diese Datenquelle enthält auch Bestandsnachweise, die nicht zu einem Volltext führen.
Beschreibung:
Ce travail développe et analyse des stratégies pour construire des instances de ce que l’on appelle les règles d’arrêt prématurés appliquées à certains algorithmes d’apprentissage itératif pour estimer la fonction de régression. Ces quantités sont des règles "data-driven" indiquant quand arrêter le processus d’apprentissage itératif pour parvenir à un compromis entre les coûts de calcul et la précision statistique. Contrairement à une grande partie de la littérature existante sur l’arrêt prématuré, où ces règles ne dépendent que des données de manière "faible", nous fournissons des solutions data-driven pour le problème susmentionné sans utiliser les données de validation. L’idée cruciale exploitée ici est celle du principe d’écart minimal (MDP), qui montre où arrêter un algorithme d’apprentissage itératif. À notre connaissance, cette idée remonte aux travaux de Vladimir A. Morozov dans les années 1960-1970 qui a étudié des problèmes linéaires mal posés et leur régularisation, principalement inspirés par des problèmes de physique mathématique. Parmi les différentes applications de cette ligne de travail, les soi-disant estimateurs de filtre spectral tels que le "spectral cut-off", les itérations de Landweber, et la régularisation de Tikhonov (ridge) ont reçu beaucoup d’attention (par exemple, dans des problèmes statistiques inverses). Il est à noter que le principe d’écart minimal consiste à contrôler les résidus d’un estimateur (qui sont minimisés de manière itérative) et à leur fixer correctement un seuil tel que l’on puisse atteindre une certaine optimalité (minimax). La première partie de cette thèse est consacrée aux garanties théoriques des règles d’arrêt basées sur le principe d’écart minimal et appliquées à la descente de gradient, et à la régression de Tikhonov (ridge) dans le cadre de l’espace de Hilbert à noyau reproduisant (RKHS). Là, nous montrons que ce principe fournit un estimateur fonctionnel optimal minimax de la fonction de régression lorsque le rang du noyau est fini. Cependant, quand nous ...