When Random Forests Meet Neural Networks : A Finite-Sample Analysis ; Quand les forêts aléatoires rencontrent les réseaux de neurones : une analyse à échantillon fini
Titel:
When Random Forests Meet Neural Networks : A Finite-Sample Analysis ; Quand les forêts aléatoires rencontrent les réseaux de neurones : une analyse à échantillon fini
Anmerkungen:
Diese Datenquelle enthält auch Bestandsnachweise, die nicht zu einem Volltext führen.
Beschreibung:
En substance, ce doctorat vise à explorer les intersections entre des méthodes basées sur des arbres de décisions et des architectures neuronales, recherchant les synergies potentielles, les avantages et les fondements théoriques d'un point de vue statistique. Le cadre théorique est généralement celui de la régression non paramétrique à échantillons finis. Deux travaux (Chapitres 2 et 3) se concentrent sur l'algorithme Deep Forest (DF, Zhou et al. 2017), qui superpose des Random Forests (RF) à la manière d'un réseau neuronal (NN). Dans un premier temps nous analysons théoriquement l'avantage d'empiler des arbres dans une architecture DF simplifiée (Chapitre 2), et dans un second temps, nous utilisons une DF ainsi que d'autres méthodes d'arbres pré-entraînées, afin d'initialiser un NN et ainsi améliorer ses performances (Chapitre 3). Dans un développement ultérieur, nous examinons le comportement des RF dans le régime d'interpolation, élargissant ainsi l'étude des estimateurs interpolants (tels que les réseaux neuronaux et les méthodes de noyau) aux forêts aléatoires. Les taux de convergence sont établis pour l'interpolation médiane RF, et l'influence de l'interpolation sur les performances de prédiction est également mesurée par le volume de la zone d'interpolation, caractérisée pour les forêts de Breiman (Chapitre 4). Enfin, nous présentons un travail en cours de mise en oeuvre consistant à entraîner des réseaux neuronaux avec différents objectifs inspirés du PAC-Bayes afin d'atteindre une optimisation plus rapide et de meilleures performances de généralisation. ; In essence, this Ph.D. strives to fathom the crossroads of tree-based methods and modern neural architectures, exploring potential synergies, benefits, and theoretical underpinnings from a statistical perspective. The theoretical setting is generally that of non-parametric regression with finite samples. Two pieces of work (Chapters 2 and 3) involve the Deep Forest algorithm (DF, Zhou et al. 2017), which stacks Random Forests (RF) in a Neural Network ...