Nguyen, Trung Tin
[Verfasser:in]
;
Normandie
[Mitwirkende:r];
Chamroukhi, Faicel
[Mitwirkende:r]
Μοdel selectiοn and apprοximatiοn in high-dimensiοnal mixtures οf experts mοdels : from theory to practice ; Sélection et approximation de modèle dans les modèles de mélange d'experts de grande dimension : de la théorie à la pratique
Titel:
Μοdel selectiοn and apprοximatiοn in high-dimensiοnal mixtures οf experts mοdels : from theory to practice ; Sélection et approximation de modèle dans les modèles de mélange d'experts de grande dimension : de la théorie à la pratique
Anmerkungen:
Diese Datenquelle enthält auch Bestandsnachweise, die nicht zu einem Volltext führen.
Beschreibung:
Dans cette thèse, nous étudions les capacités d'approximation et les propriétés d'estimation et de sélection de modèles, d'une riche famille de mélanges d'experts (MoE) dans un cadre de grande dimension. Cela inclut des MoE avec experts gaussiens et fonctions soft-max (SGaME) ou gaussiennes normalisées (GLoME) pour modéliser la distribution de la variable latente conditionnellement aux experts. Tout d'abord, nous améliorons les résultats d'approximation universelle dans les mélanges inconditionnels, et étudions ces capacités d'approximation pour les MoE dans une variété de contextes, y compris en approximation de fonctions de densités de probabilité (FDP) conditionnelles et en calcul bayésien approximatif. Plus précisément, nous prouvons qu'à un degré de précision arbitraire, les mélanges de translatées dilatées d'une FDP continue peuvent approximer toute FDP continue, uniformément, sur un ensemble compact; les mélanges de translatées dilatées d'une FDP essentiellement bornée, resp. d'une FDP conditionnelle, peuvent approcher toute FDP, resp. toute FDP conditionnelle continue lorsque les variables d'entrée et de sortie sont toutes deux à support compact, dans les espaces de Lebesgue. Par la suite, nous établissons des résultats non asymptotiques de sélection de modèle dans des scénarios de régression à grande dimension, pour une variété de modèles de régression MoE, y compris GLoME et SGaME, en s'appyuant sur une stratégie de régression inverse ou une pénalisation Lasso, respectivement. Ceux-ci incluent des résultats pour la sélection du nombre de composantes du mélange d'experts, ainsi que pour la sélection jointe de variable et des rangs des matrices de covariances. En particulier, ces résultats fournissent une garantie théorique solide: une inégalité d'oracle en échantillon fini satisfaite par l'estimateur du maximum de vraisemblance pénalisé avec une perte de type Jensen-Kullback-Leibler, pour soutenir l'heuristique de pente dans un cadre d'échantillon fini, par rapport aux critères asymptotiques classiques. ...