• Media type: Text; Electronic Thesis; E-Book
  • Title: Modèle de mémoire double pour de l'apprentissage incrémental ; Dual memory system to overcome catastrophic forgetting
  • Contributor: Solinas, Miguel Angel [Author]
  • Published: theses.fr, 2021-12-09
  • Language: English
  • Keywords: Apprentissage en continue ; Lifelong learning ; Pseudo-rehearsal ; Knowledge distillation ; Oubli catastrophique ; Incremental learning ; Sequential learning ; Continual learning ; Apprentissage incremental ; Catastrophic forgetting ; Rehearsal
  • Origination:
  • Footnote: Diese Datenquelle enthält auch Bestandsnachweise, die nicht zu einem Volltext führen.
  • Description: L'une des principales caractéristiques qui rendent l'être humain unique est sa capacité à apprendre en permanence. Cela fait partie du développement individuel et c'est vital pour progresser et éviter la stagnation. Pour évoluer, l'être humain a besoin d'acquérir de l'expérience et des compétences afin d'élargir constamment son champ d'action. Les réseaux neuronaux artificiels n'ont pas la capacité de stocker des souvenirs et d'apprendre de manière incrémentielle. De fait, de nombreuses recherches sont menées pour permettre aux réseaux neuronaux artificiels d'apprendre en permanence et d'éviter les oublis catastrophiques.Les réseaux de neurones artificiels souffrent toujours de l'oubli catastrophique des anciennes connaissances au fur et à mesure de l'apprentissage de nouvelles informations. Modéliser un véritable apprentissage continu, comme le font les humains, reste un défi et nécessite de trouver des solutions appropriées à ce problème.Premièrement, les approches basées sur la neurogenèse font évoluer l'architecture du réseau neuronal pour qu'il s'adapte à différentes expériences de formation en utilisant des ensembles indépendants de paramètres. Deuxièmement, les approches basées sur la consolidation synaptique limitent les changements des paramètres importants des tâches apprises précédemment. Ainsi, les nouvelles tâches utilisent des neurones qui sont moins utiles pour les tâches précédentes. Il est donc possible de revoir les informations apprises précédemment de deux manières : avec des échantillons réels (répétition) ou avec des échantillons synthétiques (pseudo-répétition).Les méthodes de répétition permettent de surmonter l'oubli catastrophique en rejouant une quantité d'exemples précédemment appris, stockés dans des buffers de mémoire dédiés.D'autre part, les méthodes de pseudo-répétition génèrent des pseudo-échantillons pour émuler les données précédemment apprises, ce qui évite d'avoir recours à des tampons dédiés.L'examen de ce qui a été appris précédemment par le biais d'exemples ou de ...
  • Access State: Open Access