Ayed, Ibrahim
[Author]
;
Sorbonne université
[Contributor];
Gallinari, Patrick
[Contributor]
Neural Models for Learning Real World Dynamics and the Neural Dynamics of Learning ; Réseaux de neurones profonds pour la modélisation de phénomènes physiques complexes : incorporation de connaissances a priori
You can manage bookmarks using lists, please log in to your user account for this.
Media type:
E-Book;
Electronic Thesis;
Text
Title:
Neural Models for Learning Real World Dynamics and the Neural Dynamics of Learning ; Réseaux de neurones profonds pour la modélisation de phénomènes physiques complexes : incorporation de connaissances a priori
Footnote:
Diese Datenquelle enthält auch Bestandsnachweise, die nicht zu einem Volltext führen.
Description:
Cette thèse se situe à l'intersection de deux domaines : d'une part celui des systèmes dynamiques, et notamment ceux qui peuvent être représentés par des équations différentielles d'évolution, et, d'autre part, celui des l'apprentissage profond. Son objectif est alors double : Il s'agit d'abord de chercher à modéliser, grâce aux techniques modernes de l'apprentissage profond, des phénomènes physiques complexes, dans divers cadres d'intérêt pour les praticiens. Ensuite, nous avons également tenté d'employer des outils issus des théories mathématiques permettant l'étude des équations différentielles afin de mieux comprendre certains aspects des dynamiques induites par l'apprentissage de réseaux de neurones profonds et leur fonctionnement. ; The work presented in this thesis was initially motivated by the discrepancy between the impressive performances of modern neural networks and the lack of applications to scientific problems for which data abounds. Focusing on evolution problems which are classically modelled through ordinary or partial differential equations~(O/PDEs) naturally brought us to consider the more general problem of representing and learning such equations from raw data with neural networks. This was the inception of the first part of our work. The point of view considered in this first part has a natural counterpart: what about the dynamics induced by the trajectories of the NN's weights during training or by the trajectories of data points within them during inference? Can they be usefully modelled? This question was the core of the second part of our work and, while theoretical tools other than O/PDEs happened to be useful in our analysis, our reasoning and intuition were fundamentally driven by considerations stemming from a dynamical viewpoint.