Physics-Grounded Neuromorphic Computing : From Spiking Neurons to Learning Algorithms ; Calcul neuromorphique basé sur la physique : des neurones à impulsions aux algorithmes d'apprentissage
Titel:
Physics-Grounded Neuromorphic Computing : From Spiking Neurons to Learning Algorithms ; Calcul neuromorphique basé sur la physique : des neurones à impulsions aux algorithmes d'apprentissage
Anmerkungen:
Diese Datenquelle enthält auch Bestandsnachweise, die nicht zu einem Volltext führen.
Beschreibung:
À l'ère numérique actuelle, caractérisée par une augmentation exponentielle de la puissance de calcul et de la capacité de mémoire, nous sommes confrontés à un défi pressant : la consommation d'énergie croissante de la technologie de l'information. La demande croissante de services intensifs en données, notamment l'intelligence artificielle (IA) et le cloud computing, souligne la nécessité de calculs respectueux de l'environnement et propices à l'innovation. Cette thèse explore le potentiel des memristors pour le calcul neuromorphique afin de réaliser une IA basse énergie. Nous avons d'abord étudié des neurones composés de memristors volatils NbOx, offrant une alternative attrayante aux dispositifs CMOS classiques par leur scalabilité et leur dynamique. Ces dispositifs ont été caractérisés et présentent de nombreux comportements avec impulsions et bursting, tels que l'intégration et tir avec fuite ou le « phasic bursting ». Nous avons modélisé ces comportements à l'aide de dynamique non linéaire. En particulier, l'origine du « phasic bursting » a pu être élucidée : elle émerge d'une bifurcation de Hopf entre les régimes de cycle limite et de point fixe. Ce modèle peut s'avérer utile lors de la conception de puces neuromorphiques à impulsions. Du côté des algorithmes, nous avons adapté la Propagation à l'Équilibre (EqProp) aux systèmes physiques. EqProp, ancré dans la physique plutôt que dans le calcul, offre une perspective intéressante: exploiter la physique inhérente des systèmes réels pour l'apprentissage sur puce. Ce travail a porté sur l'adaptation des gradients continus aux memristors, où la programmation se fait sous forme d'impulsions. Pour cela, nous avons exploré diverses approches de discrétisation des gradients. La première méthode, la discrétisation ternaire, a démontré des taux de précision comparables à ceux de EqProp. Dans ce contexte, nous avons examiné le rôle des hyperparamètres et leur influence sur les performances du réseau. Nous avons ensuite introduit des mise-à-jours probabilistes, ce ...