Belouadah, Eden
[Verfasser:in]
;
Ecole nationale supérieure Mines-Télécom Atlantique Bretagne Pays de la Loire
[Mitwirkende:r];
Kanellos, Ioannis
[Mitwirkende:r]
Large-scale deep class-incremental learning ; Apprentissage incrémental profond à large échelle
Anmerkungen:
Diese Datenquelle enthält auch Bestandsnachweise, die nicht zu einem Volltext führen.
Beschreibung:
L'apprentissage incrémental (IL) permet l'adaptation d'agents artificiels à des environnements dynamiques dans lesquels les données sont présentées séquentiellement. Ce type d’apprentissage est nécessaire lorsque l'accès aux données passées est limité ou impossible, mais il est affecté par l'oubli catastrophique. Ce phénomène consiste en une chute drastique des performances des informations précédemment apprises lors de l'ingestion de nouvelles données. Une façon de résoudre ce problème est d'utiliser une mémoire limitée du passé pour rafraîchir les connaissances apprises précédemment. Actuellement, les approches basées sur la mémoire obtiennent les meilleurs résultats de l'état de l'art. Dans cette thèse, nous présentons plusieurs méthodes avec et sans mémoire du passé. Nos méthodes traitent l'oubli catastrophique soit (1) en calibrant les scores des classes passées et nouvelles à la fin du réseau, soit (2) en réutilisant les poids initiaux des classes passées, soit (3) en transférant les connaissances entre les datasets de référence et cibles. Nous étudions notamment l'utilité de la distillation largement utilisée et l'effet d'utiliser ou non une mémoire du passé. Des expériences approfondies contre des méthodes de l'état de l'art ont été menées afin de valider l'efficacité de nos méthodes. ; Incremental learning (IL) enables the adaptation of artificial agents to dynamic environments in which data is presented in streams. This type of learning is needed when access to past data is limited or impossible but is affected by catastrophic forgetting. This phenomenon consists of a drastic performance drop for previously learned information when ingesting new data. One way to tackle this problem is to use a limited memory of the past to refresh previously learned knowledge. Currently, memory-based approaches achieve the best state-of-the-art results. In this thesis, we present many methods with and without memory of the past. Our methods deal with catastrophic forgetting either by (1) calibrating past and new ...