Felhi, Ghazi
[VerfasserIn]
;
Paris 13
[MitwirkendeR];
Nazarenko, Adeline
[MitwirkendeR];
Le Roux, Joseph
[MitwirkendeR];
Seddah, Djamé
[MitwirkendeR]
Interpretable sentence representation with variational autoencoders and attention ; Représentations de phrases interprétables avec autoencodeurs variationnels et attention
Titel:
Interpretable sentence representation with variational autoencoders and attention ; Représentations de phrases interprétables avec autoencodeurs variationnels et attention
Anmerkungen:
Diese Datenquelle enthält auch Bestandsnachweise, die nicht zu einem Volltext führen.
Beschreibung:
Dans cette thèse, nous développons des méthodes pour améliorer l'interprétabilité de techniques récentes d'apprentissage de représentation en traitement automatique de langues (TAL) en prenant en compte la difficulté d'obtention de données annotées. Nous utilisons des Auto-Encodeurs Variationnels (VAE) afin d'apprendre avec peu de données des représentations interprétables. Pour notre première contribution, nous identifions et supprimons des composants inutiles du fonctionnement des VAE Semi-Supervisés, améliorant ainsi leur vitesse de calcul et facilitant leur conception. Notre deuxième et principale contribution consiste à utiliser des VAE et des Transformers pour construire deux modèles qui permettent de séparer l'information dans les représentations latentes en concepts interprétables sans données annotées. Le premier modèle, ADVAE, est capable de représenter et de contrôler séparément des informations sur les rôles syntaxiques dans les phrases. Le second modèle, QKVAE, utilise des variables latentes séparées pour former des clés et des valeurs pour son décodeur Transformer et est capable de séparer les informations syntaxiques et sémantiques dans ses représentations neuronales. Dans des expériences de transfert, QKVAE a une performance compétitive par rapport aux modèles supervisés et une performance équivalente à un modèle supervisé utilisant 50 000 échantillons annotés. De plus, QKVAE montre une capacité améliorée de désenchevêtrement des rôles syntaxiques par rapport à ADVAE. De manière générale, notre travail montre qu'il est possible d'améliorer l'interprétabilité des architectures de pointe utilisées pour les modèles de langage avec des données non annotées. ; In this thesis, we develop methods to enhance the interpretability of recent representation learning techniques in natural language processing (NLP) while accounting for the unavailability of annotated data. We choose to leverage Variational Autoencoders (VAEs) due to their efficiency in relating observations to latent generative factors and ...